컴퓨터 비전 7주차(3)

[학습목표]
활성화 함수 알고리즘에 대해 설명할 수 있다.

---

※ 퍼셉트론은 직선 하나로 나눈 영역만 표현할 수 있다는 한계가 있다.

XOR게이트는 어떻게 표현을 해야할까?

• 단순 퍼셉트론은 불가능하다.
• 다층 퍼셉트론으로, 1층에 NAND와 OR로 처리를 하고 2층에 AND로 처리를 하면 XOR를 표현할 수 있게 된다.

▶비선형적인 문제를 풀려고 하면 층이 깊어진다. 

활성화 함수

• 입력 신호의 총합을 출력 신호로 변환하는 함수
• 입력 신호의 총합이 활성화를 일으키는지 정하는 역할을 한다.
• 활성화 함수라고 하는 것은 입력 신호의 총합을 출력 신호로 변환해 주는 기능을 하는 것을 우리는 활성화 함수라고 할 수 있다. 
• 즉, 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할을 하는 것이 활성화 함수이다. 
• 판별할 때 시그모이드를 사용하느냐 하이퍼볼릭 탄젠트를 사용하느냐에 따라서 판별한 임계값의 기준이 달라지는 것을 알 수 있다. 활성화 함수는 어떤 값이 들어오더라도 특정한 값의 영역으로 변환해 주는 기능을 한다.

※ 단층 퍼셉트론에서는 활성화 함수를 계단 함수로 사용해도 아무런 문제가 없다. 그런데 다층으로 넘어가게 되면 활성화 함수를 계단 함수로 사용할 수 없다. 즉, 활성화 함수를 시그모이드 같은 이러한 실수 값으로 전달되는 활성화 함수를 사용해야만다층 퍼셉트론으로 갈 수 있다.

▶ XOR 신경망에서 계단 함수인 경우 0 또는 1 중 하나의 값을 다음 뉴런으로 전달할 것이다.
그러나 시그모이드 함수인 경우에 실수 값을 다음 뉴런으로 전달하기 때문에 계단 함수를 사용할 수 없는 것이다.

시그모이드 함수

• X값이 어떠한 값이 들어오더라도 출력은 항상 정해져 있다.
• 출력은 항상 0~1 사이의 실수 값이다.

계단 함수 : 어떠한 값이 들어오더라도 출력값은 0 아니면 1이다.

하이퍼볼릭 탄젠트 함수

• 어떠한 값이 들어왔을 때 출력값은 -1에서 1 사이의 실수 값이 된다.

렐루 함수

• 어떠한 값이 들어오더라도 어떠한 X값이 0보다 작은 값이면 무조건 0을 출력한다.
• 0보다 큰 값일 경우 그 값을 그대로 출력한다.