House Prices로 배우는 탐색적 데이터 분석(EDA)

EDA는 '질문을 만드는 단계'

모델을 세우기 전, 데이터에게 먼저 말을 걸어야 한다. House Prices 데이터로 EDA의 전체 흐름을 따라갔다.

흐름

1. 구조 파악: shape, info(), describe(), 타깃(SalePrice) 기본 통계
2. 결측 탐색: 결측 개수·비율 상위 15개를 정렬. 그리고 왜 결측인지를 서술로 메모
   • PoolQC(수영장 품질) 결측 99.5% → 대부분 집에 수영장이 없어서
   • Alley(골목) 결측 93.7% → 외곽 주택이 많아서
3. 수치형 분석: 히스토그램·boxplot으로 분포와 이상치
4. 범주형 분석: countplot, 범주별 평균 타깃 비교
5. 타깃 분포와 로그 변환: 오른쪽으로 치우친 SalePrice 를 로그 변환해 정규분포에 가깝게
6. 관계 시각화: 산점도로 주요 변수 vs 집값
7. 상관 분석: 상관계수 히트맵으로 강한 관계 찾기

인상 깊었던 지점

결측은 그냥 "채운다"로 끝낼 대상이 아니라, 결측 자체가 정보다. PoolQC 의 결측은 "수영장이 없다"는 사실을 말해준다. 로그 변환 후 상관관계가 어떻게 달라지는지 비교하며, 변수 변환이 분석 결과를 바꾼다는 걸 봤다.

정리