통계 거짓말 검증: 차트를 현행범으로 잡는 6가지 질문

2020년 9월, 두 기관이 똑같은 걸 쟀음. 서울 아파트 가격임. 그런데 한쪽이 내놓은 월간 상승률이 다른 쪽의 7.3배였음. 같은 도시, 같은 달, 같은 아파트인데도 그랬음. 이 격차는 조작이 아니었음. 어떤 집을 표본으로 뽑을지, 어떻게 평균을 낼지, 축을 어디서 시작할지 — 그 선택이 만든 것임. 이 숫자 하나가 통계 거짓말 검증이 왜 필요한지 깔끔하게 보여줌. 숫자를 지어내서가 아니라, 어떤 숫자를 보여줄지 고르는 데서 거짓말이 태어나기 때문임.

이 글은 속지 않는 법을 다루는 시리즈의 4편임. 3편에서 전문가의 권위를 뜯어봤다면 — 자격증이 곧 정답은 아니라는 이야기임 — 이번엔 숫자 차례임. 그리고 마주치는 모든 차트에 하나의 끈질긴 질문을 던지면 됨. “그런데, 이게 진짜야?”

우리가 숫자를 믿는 건 객관처럼 보이기 때문임. 마치 하늘에서 뚝 떨어진, 지문 하나 안 묻은 깨끗한 물건 같음. 그런데 통계는 객관의 옷을 입은 주관적 선택임. 누군가가 무엇을 셀지, 무엇을 뺄지, 어떻게 보여줄지 정한 것임. 그 결정이 우리를 정반대 결론으로 조용히 끌고 감.

문제는 더 심해졌음. 예전엔 차트 하나 만드는 데 품이 들어서, 만드는 사람 손이 느렸음. 이제는 누구나 AI에게 시켜 매끄럽고 자신감 넘치는 전문가풍 차트를 3초 만에 뽑아냄. 매끄러운 가짜는 그 어느 때보다 싸졌고, 매끄러운 가짜는 거친 진짜를 늘 앞질러 감.

통계 거짓말 검증의 첫 관문: 아무것도 지어내지 않고 속이는 차트

1954년, 대럴 허프라는 작가가 뻔뻔한 제목의 얇은 책을 냈음. 『How to Lie with Statistics(통계로 거짓말하는 법)』임. 70년이 지난 지금도 데이터 리터러시 입문서로 통함. 수법이 한 번도 유행에서 밀려난 적이 없기 때문임.

가장 유명한 게 “gee-whiz graph(와, 대박 그래프)”임. 지루하고 완만한 상승 — 예를 들어 3%에서 4%로 슬금슬금 오른 수치를 가져옴. Y축을 0부터 그리면 평평한 도로처럼 보임. 그런데 축을 잘라 3%부터 시작하면, 똑같은 데이터가 갑자기 절벽처럼 보임. 숫자는 하나도 안 바뀌었음. 프레임만 바뀐 것임.

쉽게 말하면 카메라 각도임. 밑에서 올려 찍으면 사람이 거인처럼 보이고, 위에서 내려 찍으면 작아 보임. 키는 똑같음. 인상을 고른 건 사진사임. 차트의 축이 바로 그 카메라 각도임.

통계 거짓말 검증에서 이게 가장 부드러운 형태의 거짓말임. 기술적으로는 아무도 거짓말을 안 했기 때문임. 지면의 모든 숫자가 사실임. 속임수는 오직 무엇을 강조하고 무엇을 숨겼느냐에 살고 있음. 그래서 잡아내기가 그렇게 어려운 것임.

구간을 체리피킹하는 법

두 번째 흔한 수법은 이야기가 시작되는 시점을 고르는 것임. 내 주장에 유리한 구간만 뽑고 나머지는 버림.

미국 강도 통계가 딱 그 예임. 2014~2016만 보면 선이 치솟음. 범죄 급증임. 그런데 2014~2019 전체로 넓히면 후반 몇 해는 다시 내려감. 같은 데이터, 정반대 헤드라인. 가위를 어디에 대느냐로 갈린 것임.

투자판 버전도 본 적 있을 것임. 어떤 펀드가 “2023년 이후” 수익률을 보여주면서 2022년 폭락은 조용히 건너뜀. 그 구간은 중립이 아님. 누군가 하고 싶은 이야기를 해주는 구간이라서 고른 것임.

숫자 자체가 속일 때

축 장난은 쉬운 편임. 누군가 속이려고 마음먹은 경우이기 때문임. 진짜 무서운 부류는 정직하고 꼼꼼한 분석가가 스스로 속고, 그다음 우리까지 속이는 경우임. 통계 거짓말 검증에서 두 번째로 알아야 할 결이 이것임. 누구의 악의가 아니라, 아무도 눈치 못 챈 사각지대에서 벌어짐. 여기엔 악당이 없음. 그게 핵심임.

생존자 편향: 돌아오지 못한 데이터

2차대전 때 미군은 임무에서 돌아온 폭격기를 조사해 총알 구멍이 몰린 곳을 표시했음. 동체와 날개였음. 당연한 처방은 구멍 난 곳에 장갑을 덧대는 것임. 통계학자 에이브러햄 발드가 이걸 딱 멈춰 세웠음.

살아 돌아온 기체의 구멍은, 그 자리를 맞고도 날아올 수 있는 곳을 표시한 것임. 엔진엔 구멍이 거의 없었음. 안 맞아서가 아님. 엔진을 맞은 기체는 돌아오지 못해 데이터에 없기 때문임. 장갑은 엔진에 대야 함. 가장 중요한 데이터는, 빠져 있는 데이터였음.

현대판은 도처에 있음. 성공한 창업자 인터뷰 열 개를 읽고 “성공 공식”을 뽑으려 한다면, 돌아온 비행기만 들여다보는 셈임. 똑같이 행동했다가 망한 스타트업은 애초에 인터뷰에 초대받지 못했음.

심슨의 역설: 전체와 부분이 반대를 말할 때

1973년 UC버클리 대학원 합격률은 험악해 보였음. 남성 44%, 여성 35%였음. 대놓고 성차별처럼 읽힘.

그런데 학과별로 쪼개 봤음. 거의 모든 개별 학과에서 여성 합격률이 같거나 오히려 높았음. 전체 격차는 여성이 경쟁률 높은 학과에 더 많이 지원했기 때문에 생긴 것임. 그 학과는 남녀 모두 합격률이 낮았음. 뭉치면 이 말, 쪼개면 반대 말이 나온 것임. (짚어둘 게 있음. 이 사건을 둘러싼 유명한 “소송”은 사례에 붙어 자란 도시전설임. 통계적 역전은 실제고, 법정 드라마는 아님.)

상관은 인과가 아님

아이스크림 판매와 익사 건수는 바짝 붙어 함께 오름. 사람 살리려고 아이스크림을 금지할까. 당연히 아님. 숨은 제3의 변수, 여름 더위가 둘 다 밀어 올린 것임. 둘은 손을 잡고 있을 뿐, 어느 쪽도 운전대를 잡지 않았음.

아이 신발 크기와 독해력도 함께 오름. 숨은 원인은 그냥 나이임. 니콜라스 케이지가 한 해 개봉한 영화 편수가 수영장 익사 수와 나란히 움직인 적도 있음. 순수한 우연임. 두 선이 발맞춰 움직인다고 그것만으로 아무것도 증명되지 않는다는 걸 일깨워 줌.

아무도 설명하지 못하는 평균

직원 아홉 명이 각각 연 3,000만 원을 범. CEO는 30억을 범. 이 회사의 “평균” 연봉은 약 3억 2,700만 원임. 건물 안 단 한 사람도 설명하지 못하는 숫자임. 극단값 하나가 평균을 판타지로 끌고 간 것임. 여기서 정직한 숫자는 중위값(median), 정확히 한가운데 서 있는 사람의 값임. 그건 3,000만 원임. 헤드라인이 “평균”을 외칠 땐, 한가운데가 실제로 어디 있는지 물어보면 됨.

한국의 숫자 전쟁: 내 삶 속의 착시

이건 박물관 전시물이 아님. 똑같은 부품이 내 월세와 내 표와 내 저축을 정하는 숫자 속에서 돌아가고 있음.

이 글을 연 부동산 싸움부터 봄. 2020년과 2021년 서울 아파트 상승률을, 한국부동산원은 3.01%와 8.02%로 발표했음. 같은 해를 KB국민은행 지수는 13.06%와 16.4%로 내놨음. 2020년 9월엔 KB 월간 수치가 부동산원의 약 7.3배였음. 차이는 방식으로 거슬러 올라감. 부동산원은 약 3.2만 가구를 뽑는 표본조사에 기댔고, KB 지수는 중개업소가 입력한 약 6.2만 건에서 나왔음.

어느 지수도 “거짓말”이 아님. 그물이 서로 다를 뿐임. 그런데 정치인이 어느 지수를 인용하느냐가, 부동산 정책이 성공으로 불릴지 실패로 불릴지를 가름. 정작 월세를 내는 사람은 정반대를 가리키는 두 개의 진실을 손에 쥔 채 남겨짐.

보이는 것보다 적게 말하는 여론조사

여론조사 철에는 그 나름의 착시가 옴. 표준인 95% 신뢰수준에서, 1,000명 조사의 표본오차는 약 ±3.1%p임. 500명이면 ±4.4로 벌어지고, 2,000명이면 ±2.2로 좁혀짐. 그러니 1,000명 조사에서 46 대 44로 “앞서는” 후보는 사실 앞서는 게 아님. 두 숫자가 같은 안갯속에 앉아 있는 것임.

더 깊은 균열도 있음. 전화 면접에 열 명 중 한 명만 응답하고 — 자동응답(ARS)이면 그보다 훨씬 적음 — 그 응답한 10%가 응답 안 한 90%와 안 닮았을 수 있음. “오차범위 내”가 “치고 나감”으로 조용히 둔갑해 팔림.

과거엔 맞았는데 미래엔 깨지는 백테스트

투자 광고는 흠 없는 과거를 사랑함. 손실 구간 하나 없이 완벽하게 우상향하는 곡선을 보여주면, 그게 증거처럼 느껴짐. 보통은 증거의 정반대임.

모델을 옛 데이터에 너무 빡빡하게 맞추면, 신호가 아니라 잡음을 외우기 시작함. 과최적화(overfitting), 곧 곡선 맞추기라 부르는 함정임. 자기가 만들어진 과거 위에선 완벽해 보이고, 한 번도 못 본 데이터에선 무너짐. 쉽게 잡는 표현이 있음. “과거에 돌아갔다”는 “앞으로 맞는다”와 같은 말이 아님. 백테스트는 계획임. 현실은 그 뒤에 날아드는 주먹임.

통계 거짓말 검증 6가지 질문: 의심이 아니라 습관

냉소하는 사람이 놓치는 좋은 소식이 있음. 스스로를 지키는 데 통계학 학위는 필요 없음. 짧은 습관 하나면 됨. 숫자를 머릿속에 들이기 전에 돌리는 몇 가지 질문임.

이 여섯 관문이 통계 거짓말 검증의 실전 지도임. 어떤 차트나 주장이든 여기에 통과시키면, 조작 대부분이 알아서 드러남. 축은 정직한가. 왜 하필 그 구간인가. 분모가 뭔가. 상관을 인과로 파는가. 누구를 몇 명이나 표본으로 뽑았나. 그리고 마지막 하나가 가장 무거움.

킬러 질문

통계 자기방어에서 가장 강력한 수는 이 질문임. “이 숫자로 정반대 결론도 만들 수 있나?” 데이터 하나를 호황의 증거로도 꾸밀 수 있고 불황의 증거로도 다시 꾸밀 수 있다면, 애초에 논증은 숫자가 아니라 프레임이었던 것임. 프레임이 보이는 순간, 마법이 풀림.

그리고 이 습관이 무엇이 아닌지도 봐야 함. “모든 통계는 조작”이 아니고, 모든 수치에 코웃음 치는 반사신경도 아님. 좋은 통계는 눈으로 다 볼 수 없는 큰 세상을 이해하는 방법임. 통계 거짓말 검증의 목적은 좋은 통계를 버리는 게 아니라, 좋은 통계를 꾸며낸 통계와 구분해내는 것임. 이건 자연화의 해부 시리즈가 계속 맴도는 본능과 같음. 권력의 가장 오래된 수는 선택을 자연으로 둔갑시키는 것이고, 숫자는 그 가장 새로운 의상일 뿐임.

한줄 코멘트. 통계는 숫자를 지어내서 거짓말하는 경우가 드묾. 어떤 숫자를 보여줄지 골라서 거짓말함. 그러니 방어는 불신이 아니라, “무엇과 비교해서, 어느 구간에서, 전체 몇 중에서”를 되묻는 반사신경임.

일상 시사점. 다음에 어떤 차트가 순식간에 감정을 일으킬 때 — 공포든, 안도든, 확신이든 — 공유 버튼을 누르기 전에 잠깐 멈추고 킬러 질문을 던지면 됨. 이 숫자로 정반대도 그릴 수 있지 않나. 검증은 의심이 아니라 습관임.

자주 묻는 질문 (FAQ)

Q. 통계 거짓말 검증에서 차트를 볼 때 가장 먼저 확인할 건 무엇인가요? A. Y축부터 보시면 됩니다. 축이 0에서 시작하지 않거나 눈금 간격이 균등하지 않으면, 작은 변화를 극적인 것처럼 부풀리고 있을 수 있습니다. 이 한 번의 눈길이 가장 흔한 시각 조작인 “gee-whiz graph”를 나머지 이미지가 작동하기 전에 잡아냅니다.

Q. 숫자가 이렇게 쉽게 속인다면, 그냥 모든 통계를 불신하면 되나요? A. 아닙니다. 그건 정반대 실수입니다. 오도하는 숫자 대부분은 지어낸 데이터가 아니라 선택적 프레이밍에서 나오고, 좋은 통계는 눈으로 다 담을 수 없는 세상을 이해하는 최고의 도구로 남아 있습니다. 목표는 무조건적 의심이 아니라, 몇 가지 질문을 던지는 습관으로 단단한 수치와 꾸며낸 수치를 구분하는 것입니다.

Q. “오차범위 내”라는 말은 여론조사가 쓸모없다는 뜻인가요? A. 쓸모없다기보다 헤드라인이 말하는 것보다 겸손하다는 뜻입니다. 표본오차보다 작은 격차는 — 1,000명 조사라면 약 ±3.1%p입니다 — 한쪽이 이기는 게 아니라 통계적으로 동률이라는 의미입니다. 그 범위 안의 우세는 보도가 어떻게 포장하든 “판단 불가”로 다루시면 됩니다.

참고 소스

• gee-whiz graph와 축 절단 — 대럴 허프, 『How to Lie with Statistics』(1954); Wikipedia.
• 생존자 편향과 발드의 폭격기 — AMS Feature Column; 조던 엘런버그, 『How Not to Be Wrong』 발췌.
• 심슨의 역설(버클리 1973), 소송은 도시전설 — refsmmat.com; Berkeley Math Circle 핸드아웃.
• 상관≠인과(아이스크림·익사, 케이지 영화) — Statistics LibreTexts; Wikipedia, “Spurious relationship”.
• 평균의 함정과 중위값 — JMP 통계 지식 포털.
• KB vs 부동산원 지수 격차(7.3배) — 한국경제 신현보의 딥데이터; 비즈워치.
• 여론조사 표본오차·응답률 — 한국갤럽 조사 FAQ.
• 백테스트 과최적화 — Build Alpha; Bailey 외(LBL).