빅데이터 분석 필기(1)

빅데이터 분석이란? 

• 기획
• 탐색
• 분석
• 해석

여기서 분석과 해석을 집중적으로 다루게 된다면, 데이터 마이닝 이라고 한다. 

 

데이터 마이닝이란 ?

• 실무 (R과 파이썬) 를 통해 분석과 해석

※ 관련 자격증 : 사회조사 분석기사, 빅데이터 분석기사

→ 올해 끝나고, 졸업년도에 꼭 도전하기 !

실무에서는, 코딩도 물론 해야 하지만 엑셀은 필수적으로 하는 것이 좋다! 

 

1. 시각화 (그림, Chart) : 빅데이터 D.B.
2. 분석 및 해석 : 빅데이터 분석 (계산)

 

분석이란 ?

• 모델링 (데이터의 형태를 식으로 만드는 작업)
• x1, x2, x3, ... , xn → Y = aX + b

모델링이 되는 것이 있고, 안되는 것이 있다 !

 

정형 데이터	데이터 수치형	연속형 데이터	이산형 데이터
	데이터 문자형	명목형 데이터	순서형 데이터

 

비정형 데이터 ?

• 동영상, 이미지와 같이 크기를 가늠할 수 없고 고정된 비트 안에 다 들어가지 않는 데이터

※ 정형과 비정형 데이터를 다 합쳐, 빅데이터라고 한다.

 

기획 → 탐색 : 전처리, 시각화 → 분석 : 회귀분석 (핵심) → 해석
(시각화, 기초이론 -> 회귀분석)

 

회귀분석 (회귀모형)

• 통계학에서 회귀 분석(regression analysis)은 관찰된 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법이다.

예를 들어, 

x1, x2, x3, ... , x40 와 같이 데이터 40개가 있다고 하자. 그 중에 하나를 대표하는 변수 (Y)로 잡고 그 Y를 나타내는 선형식을 만드는 것이다.  → Y, x2, x3, ... , x40 
Y = aX + b : 직선, 선형, 1차 함수, 1차 방정식

 

참고 사이트 : 회귀분석이란 무엇인가? :: R 기초 통계 | 마인드스케일 (mindscale.kr)

회귀분석이란 무엇인가? :: R 기초 통계 | 마인드스케일

 

---

수업 중에 나왔던 단어 공부

 

SPSS 이란 ?

SPSS는 사회과학 연구자들을 위한 통계 분석 앱으로 시작되었다. 대학 수준 학술연구를 위한 앱으로 사회학, 정치학과 경제학과 경영학 분야 등에서 널리 사용된다.

 

SAS 이란 ?

SAS(Statistical Analysis System)는 고급 분석, 다변량 분석, 비즈니스 인텔리전스 , 데이터 관리, 예측 분석을 위해 SAS 인스티튜트가 개발한 소프트웨어 제품군의 하나이다.