머신러닝을 위한 통계학2 14주차(1)

• 고유벡터: 방향
• 고윳값: 영향력

차원이 다른 벡터로 매핑하기 위해서는 직사각형 행렬이 필요하고, 직사각형 행렬을 통해 선형변환을 한다.

대칭 행렬을 인위적으로 만드는 방법

• 기존 행렬 A에 전치행렬을 두면 대칭인 정사각형 행렬이 된다.

특이값 분해 SVD

• 직사각형 행렬 A를 특이값과 특정한 구조로 분해하는 것이다. 

고유값 분해 VS 특이값 분해

• 고유값 분해: 주축을 이루는 벡터와 변화의 크기를 찾는 것이다.
• 특이값 분해: 직교하는 벡터들과 그 방향에서의 크기를 찾는 것이다.

주성분 분석?

• 서로 상관관계를 갖는 변수들을 상관관계가 없는 새로운 변수로 변환하여 차원을 축소, 다시 말하면 변수의 수를 줄이는 방법이다. 이 때의 상관관계가 없는 새로운 변수들을 주성분이라고 한다.
• 목적으로는, 상관관계를 갖는 변수들이 가지고 있는 총표본분산을 가장 많이 설명해주는 새로운 독립변수들을 추출하여 새로 정의된 소수의 독립변수로 데이터를 분석하고 데이터 복잡성을 줄이기 위해서이다.

표준화의 목적 2가지 (시험 출제 ★)

• 표준화를 해야 하는 첫 번째 이유는, 표준화를 하면 0과 1의 분포를 하므로 계산이 편리해진다.
• 두 번째 이유는, 표준정규분포를 사용하여 표현할 수 있기 때문이다.

PCA

• 원 데이터에 대한 선형 변환이 갖는 가장 큰 고유값을 갖는 고유벡터 방향으로 사영시키는 것이다.

시험출제 POINT