머신러닝2 11주차

▶ 이번 시간에는, 기계학습의 방법 (지도학습) 중 신경망(Artificial Neural Network)에 대해 배워보았다.

▶ 지도학습 중에서, 종속변수가 수치형 변수이고 모델을 통해 예측을 수행할 때에는 회귀분석으로 주로 하지만, 종속변수가 범주형 변수이고 모델을 통해 분류를 수행할 때에는 인공신경망, 서포트 벡터 머신, 결정트리, 등의 알고리즘이 있다.

인공신경망 

• 회귀분석을 확장하는 모델 Perceptron :하나의 뉴런을 가지는 간단한 형태의 신경망이다.
• → 이진분류에 특화가 되어 있다. 

• 퍼셉트론(Perceptron)은 인공신경망(Artificial Neural Network, ANN)의 기본 단위로, 인공신경망은 여러 퍼셉트론이 계층적으로 연결된 구조이다.

신경망 [그림을 유심히 보자, 중간고사때처럼, 그림을 여쭤보거나, 그리는 문제가 출제될 가능성!!]

• 뉴런은 활성화되어야 한다. 입력값이 가중치와 곱셈을 하고, 이러한 입력값들이 더해져, 활성화 함수를 거친 다음 일정 정보가 임계치(Treshold)를 넘어서면 다른 뉴런에 결과를 전송한다.\

활성화 함수에는 여러 종류들이 있다.

• 시그모이드 함수
• ReLU 함수 

▶ 이 부분에 대해선 차차 알아보자 

신경망 (ANN)

• 지도학습 방법 중 하나로, 뇌 신경망의 원리를 이용해 데이터간의 패턴을 학습하는 학습방법이다.

▶ 회귀분석에서의 기울기 오차를 줄이는데에는 최소자승법이 쓰였다면, 기계학습에서는 가중치 조정 및 오차 조절에 있어서 경사하강법이 쓰인다.

▶신경망에서 활성화 함수는 가중치를 조정하는데, 과적합이 되지 않고 최적의 가중치를 도출할 수 있도록 하는 것이 매우 중요하다. 최적의 가중치를 도출할 수 있도록 해결하는 방안으로는 활성화 함수를 잘 선택하는 것이다.

▶이제 순전파로 한번 진행하면서, 가중치를 업데이트했다면, 역전파로 다시 최소의 cost를 찾는 것이다. 

역전파

• 최적의 예측 결과를 도출하는 연결값(가중치)를 찾는 것이다.
• 비용함수를 이용하여 에러(손실)를 최소화하는 값을 찾는 것이다.

※ 코드는 한꺼번에 뒤에서 실습 예정이다.