탐색적 데이터 분석 — House Prices로 배우는 EDA

EDA는 '질문을 만드는 단계'

모델을 세우기 전, 데이터에게 먼저 말을 걸어야 한다. House Prices 데이터로 EDA의 전체 흐름을 따라갔다.

흐름

1. 구조 파악: shape, info(), describe(), 타깃(SalePrice) 기본 통계
2. 결측 탐색: 결측 개수·비율 상위 15개를 정렬. 그리고 왜 결측인지를 서술로 메모
   • PoolQC(수영장 품질) 결측 99.5% → 대부분 집에 수영장이 없어서
   • Alley(골목) 결측 93.7% → 외곽 주택이 많아서
3. 수치형 분석: 히스토그램·boxplot으로 분포와 이상치
4. 범주형 분석: countplot, 범주별 평균 타깃 비교
5. 타깃 분포와 로그 변환: 오른쪽으로 치우친 SalePrice 를 로그 변환해 정규분포에 가깝게
6. 관계 시각화: 산점도로 주요 변수 vs 집값
7. 상관 분석: 상관계수 히트맵으로 강한 관계 찾기

인상 깊었던 지점

결측을 그냥 "채운다"가 아니라, 결측 자체가 정보라는 것. PoolQC 의 결측은 "수영장이 없다"는 사실을 말해준다. 그리고 로그 변환 후 상관관계가 어떻게 달라지는지 비교하며, 변수 변환이 분석 결과를 바꾼다는 걸 봤다.

정리

EDA의 마무리는 코드가 아니라 서술형 인사이트 요약이었다. "이 데이터에서 무엇을 발견했고, 다음에 무엇을 할 것인가." 기획자로서 데이터를 다룰 때 가장 자연스럽게 손이 가는 단계이기도 했다.