결측치 종류

• MCAR(Missing Completely at Random, 완전 무작위 결측): 데이터가 완전히 무작위로 누락되는 경우, 다른 변수나 상황과 관련 없이 발생 ex) 전산오류, 통신문제
• MAR(Missing at Random, 무작위 결측): 결측치가 무작위로 발생한것이 아닌 특정 변수의 영향으로 발생. 이때의 결측치들은 결측치 자체의 특성으로 발생된것이 아닌, 다른 관측값들에 의해 발생됨. 얻고자 하는 결과와는 상관이 없는 경우. 결측은 완전히 다른 변수에 의해서 설명 가능함 ex) 소득 수준을 조사하려고 할 때, 30대 남성에게서 용돈 설문의 결측이 자주 발생하는 경우, 소득 수준과 용돈 설문과는 상관관계가 없음
• MNAR(Missing Not at Random, 비무작위 결측): 결측치 발생이 변수와 상관이 있는 경우. 무작위가 아니며, 결측값 자체적으로 영향을 받아서 발생 결측은 관측되지 않는 데이터나 결측치 자체의 값에 의해 발생 ex) 소득 수준을 조사하려고 할 때, 소득이 일정 금액 이하인 사람들이 용돈 설문을 결측하는 경우, 소득 수준과 용돈 설문과의 상관성이 존재

결측치 처리 방법

최고의 결측치 처리 방법은 존재하지 않는다. 특정 문제에 맞게 적당한 기법을 적용하는 것이 중요하다. Python에서는 주로 numpy, pandas, 사이킷런 등의 패키지에서 여러 방법들을 지원

삭제(Deletion)

결측치를 삭제하는 경우는 주로 MCAR일 경우 결측치의 원인이 네트워크나 통신 오류 등으로 다른 변수와 관련성이 없기에 데이터에서 삭제해도 상대적으로 결과에 미치는 영향이 적음 결측치가 데이터셋에서 차지하는 부분이 작을 경우에만 사용해야 함

• Pairwise Deletion(단일값 삭제) 통계에 따라 그때그때 각 쌍의 변수들에 대해 누락된 자료를 제거 오직 결측치만 삭제하고 사용할 수 있는 모든 관측을 사용
• Listwise Deletion/Dropping rows(행 삭제) 특정 행의 데이터를 통째로 삭제 삭제되는 데이터 덩어리가 크기 때문에 많은 정보가 손실될 가능성 결측치의 수가 매우 적은 경우에만 사용 결측이 있는 관측치 아예 사용하지 않는다
• Dropping complete columns(열 삭제) 열을 통째로 삭제 특정 열이 많은 결측치를 포함하고 있는 경우 그 열이 특징을 잘 잡아내지 못하는 경우 좋은 방법은 아니다

대체(Imputation)

• 상수처리 결측치를 상수로 대체하는 방법 주로 0을 사용

• 평균값 대체 각 열의 mean, median, mode로 결측치를 대체

• Forward Fill (전진, 시계열) NaN 데이터를 마지막에 관측된 데이터로 대체 이전 시점(t-1)의 유효한 값을 현재 시점(t)의 결측치로 사용 데이터의 패턴이 불규칙하게 바뀌는 경우나 이전 값이 현재 값에 적절하지 않은 경우에는 결과가 왜곡될 가능성

• Back Fill (후진, 시계열) NaN 데이터를 다음에 관측된 데이터로 대체 미래 시점(t+1, t+2 등)의 유효한 값을 현재 시점(t)의 결측치로 사용 데이터의 패턴이 불규칙하게 바뀌는 경우나 이전 값이 현재 값에 적절하지 않은 경우에는 결과가 왜곡될 가능성

• Interpolation Method (보간법, 시계열) 결측치가 발생한 위치의 앞, 뒤 데이터를 사용하여 적절한 값을 추정하는 방법 가장 쉬운 방법으로는 두 점 사이에 직선을 그어서 직선의 방정식을 만들고, 원하는 값을 계산하는 방법 - 선형 보간법

  

• Linear Regression Imputation Techniques(회귀 대체, 시계열) 선형 회귀 모형을 사용하여 결측치를 추청해서 채워넣는 방법 오차를 고려