통계의 모든 것을 다 이해할 필요는 없다. 시험을 위해 데이터 분석을 위한 최소한의 원리를 중심으로. 모델이 만들어지는 과정을 바닥에 깔자.

기본개념

목차

1. R 기초와 데이터 마트

R 기초

1. R 패키지의 종류 (install.package(”패키지명”)

   • plyr 패키지
     • 분할, 함수적용, 재조합을 제공하는 패키지
     • aaply() : arr → arr , adply() : arr → dataframe
   • data.table 패키지
     • 탐색 연산 병합 , dataframe 보다 월등히 빠름
     • 빠른 그룹핑, 정렬속도, 짧은 문장 지원

   변수 중요도 설정

   • klaR 패키지
     • 변수 중요도 만드는데 사용
     • 특정 변수가 주어졌을 때 클래스가 어떻게 분류되는지에 대한 에러율 계산
     • multi-core를 사용하여 반복문을 사용하지 않고도 빠르고 간단하게 처리할 수 있는 데이터 처리 함수를 포함하고 있음.
     • greedy.wilks() : 세분화를 위한 stepwize forward 변수 선택을 위한 패키지, wilks lambda를 활용하여 변수 중요도 정리

   결측값 처리

   • DMwR 패키지
     • 결측값 처리 (결측값 대치법 등)에 사용
     • centralImputation() : NA 를 가운데 값으로 대치
     • knnImputation() : NA 를 knn(k최근 이웃 분류 알고리즘)을 사용하여 대치
   • Amelia 패키지
     • amelia()
   • RandomForest 패키지
     • rfImpute() : 랜덤 포레스트 모형의 경우 결측값이 있으면 에러를 발생하기 때문에 NA 결측값을 대치하도록 하는 함수

   이상값 처리

   • 이상값 : 의도치 않게 잘못 입력된 경우, 의도하지 않게 입력되었으나 분석 목적에 부합되지 않아 제거해야되는 경우, 의도하지 않은 현상이지만 분석에 포함해야 하는 경우, 의도된 불량인경우, 이상값을 꼭 제거해야 하는 것은 아니기 때문에 분석의 목적이나 종류에 따라 적절한 판단이 필요하다.
   • 이상치값의 인식 방법
     1. ESD
        • 평균으로부터 3표준편차 떨어진 값
     2. $기하평균 - 2.5 * 표준편차 < data < 기하평균 + 2.5 표준편차$
     3. 사분위 수를 이용하여 제거하기 (상자 그림의 outer fence 밖에 있는 값 제거)
        1. $Q1 -1.5IQR, Q3 +1.5IQR$
   • 극단적 절단 (Triming) 방법

     1. 기하 평균을 이용한 제거 (√a*b) : geo_mean()

     2. 하단 상단 % 를 이용한 제거

        • 10% (상하위 5% 씩) 제거

        상한값과 하한값을 벗어나는 값들을 하한, 상한값으로 바꾸어 활용하는 방법

데이터 마트

결측값 처리와 이상값 검색

2. 통계 분석

통계학 개론

1. 통계 자료 흭득 방법

1. 총조사, 전수조사(Census)

   • 집단 모두를 하나하나 조사하는것

2. 표본조사 (Sampling)

   표본 추출 용어

   • 모집단(Population) : 대상 집단 전체
   • 원소(Element) : 모집단을 구성하는 개체
   • 모수(Parameter) : 표본 관측에 의해 구하고자 하는 모집단에 관한 정보
   • 표본집단 : 모집단을 모두 전수조사가 불가할때 일부분만 추출해서 모은 집단
     • 모든 원소를 전수조사할 수 없기 때문에 최대한 대표성 을 띄게 하려고 노력
   • 표본오차 : 표본집단으로 모집단을 추론할때 생기는 오차, 대표성이 떨어지는 표본오차로 추론하면 발생
   • 비표본오차 : 표본오차 제외하고 조사과정에서 생길 수 있는 오차
   • 표본편의 : 표본 추출 방법에서 기인하는 오차, 표본추출이 의도된 모집단의 일부 구성원이 다른 구성원보다 더 낮거나 더 높은 표본 추출확률을 갖는 오차

   표본 추출 방법 4가지

   1. 단순 랜덤 (Simple Random Sampling)

      단순히 랜덤으로 추출하는 것

      • 복원 : 추출한 원소을 다시 집어넣고 추출
      • 비복원 : 추출한 원소를 다시 집어넣지 않고 추출

   2. 계통 추출법 (Systematic Sampling)

      번호를 부여하고 N개의 구간으로 나눠서 K개씩 띄워서 추출하는 것

   3. 집락 추출법 (Cluster Random Sampling)

      모집단에 지역(Cluster)를 나눠서 그 안에서 Random 추출한 후 추합해서 활용

   4. 층화 추출법 (Stratified Random Sampling)

      특성이 다른 여러가지 모집단으로 층(Stratum)을 나누고 각 층에서 랜덤 추출

3. 표본 측정 방법

   1. 질적 척도 (범주형 자료, 숫자들의 크기 차이가 계산 불가)
      • 명목 척도 : 측정 대상이 어느 집단에 속하는지 분류
        • 성별, 출생지 구분
      • 순서 척도 (서열 척도) : 측정 대상의 서열 관계를 관측하는 척도
        • 만족도, 선호도, 학년, 신용등급
   2. 양적 척도 (수치형 자료, 숫자들의 크기 차이 계산 가능)
      • 구간 척도 (등간 척도) : 속성의 양을 측정, 구간 사이 간격이 의미가 있음, 곱하기 나누기 불가!
      • 비율 척도 : 절대적 기준이 존재, 사칙연산 가능

2. 통계 분석

뜻 : 불확실한 현상을 대상으로 적절한 통계 분석 방법을 거쳐 의사결정을 하는 과정

1. 기술 통계 : 주어진 집단을 분석하여 객관적인 데이터로 나타내는 것
2. 추측 통계 ( = 통계적 추론)

3. 확률 및 확률 분포