전문가 검증: 직함은 진실 보증서가 아님

시장 전문가 68명. 8년간 내놓은 예측 6,582건. 평균 적중률 47%. 동전 던지기보다 낮았음. CXO Advisory의 ‘구루 등급(Guru Grades)’ 프로젝트(2005~2012)가 매긴 성적표임. 전문가 검증, 곧 누군가 내세운 권위가 실제로 버티는지 확인하는 이 조용한 기술이 왜 일상에 필요한지, 이 숫자 하나가 말해줌.

이 글은 ‘속지 않는 법’ 5부작의 3편임. 2편은 눈앞의 매끄럽고 자신만만한 글을 사람이 썼는지 기계가 썼는지 물었음. 이번 편은 의심을 한 칸 뒤로 옮김. 글에서, 그 말을 한 사람으로. 그리고 그 이름에 박음질된 직함으로.

관통 질문은 시리즈 내내 같음. “그런데, 이게 진짜야?” 졸업장, 방송 출연, 이름 앞의 ‘박사’나 ‘애널리스트’ — 어느 것도 진실 보증서가 아님. 매끄러운 겉면일 뿐임. 우리가 찾는 건 그 밑의 거친 것임. 실제로 확인 가능한 실적임.

미리 분명히 해둘 게 있음. 이건 “모든 전문가를 불신하라”가 아님. 그건 그것대로 게으른 태도임. 진짜 전문성은 드물기 때문에 귀한 것임. 목표는 훨씬 좁고 유용함. 매끄러운 가짜와 거친 진짜를 구별하는 눈을 갖는 것임.

전문가 검증은 어디서 시작되는가: 자격증은 보증서가 아님

불편한 연구부터 봐야 함. 정치학자 필립 테틀록은 약 20년간 전문가 284명의 예측 약 28,000건을 추적했음. 대다수가 우연보다 아주 조금 나은 수준이었고, 3~5년짜리 장기 예측은 단순히 추세를 이어 긋는 규칙보다도 못했다고 보고함. (테틀록, 『Expert Political Judgment』)

CXO Advisory 성적표가 다른 분야에서 같은 방향을 가리킴. 시장 예측 6,582건에서 평균 적중률은 47% 언저리였고, 분포는 무작위 잡음처럼 보였음. 68명 중 60% 문턱을 넘은 사람은 단 5명이었음. (CXO Advisory, ‘Guru Grades’)

본능을 리셋해야 하는 대목은 여기임. 테틀록은 명성과 정확도가 오히려 반비례한다고 보고함. 미디어가 가장 많이 찾는 전문가가 평균적으로 예측이 가장 안 맞는 쪽이었다는 것임. “가장 자주 보이는 사람”은 “가장 잘 맞히는 사람”이 아님.

왜 직함이 진실처럼 느껴지는가

머릿속 지름길 두 개가 사고를 침. 권위 편향(authority bias)은 내용과 무관하게 ‘권위자가 말했으니 더 맞겠지’ 하고 믿어버리는 습관임. 논거가 아니라 출처를 믿는 것임. 후광효과(halo effect)는 한 분야의 좋은 인상, 이를테면 과거 업적이나 명문 학위가 무관한 판단까지 물들이는 현상임. (브리태니커; 심리학자 손다이크가 개념의 뿌리임)

둘이 합쳐지면 직함이 조용히 진실감으로 바뀜. 자격증은 진짜임. 문제는 ‘자격증 → 그러니 이 사안도 맞음’으로 건너뛰는 도약임. 이 시리즈에는 능력주의가 물려받은 우위를 실력의 언어로 세탁하는 구조를 다룬 동반 글도 있음. 같은 기계가 상황만 갈아입은 것임.

그렇다고 전문가가 사기꾼이라는 말은 아님. 졸업장은 눈앞의 질문이 아니라 다른 질문에 답했을 뿐이라는 말임. 심장내과 전문의 자격은 심장에 관해선 강력한 증거지만, 당신의 주택담보대출에 관해선 증거가 거의 0에 가까움.

전문가 검증의 네 가지 표식

그럼 ‘확인 가능한 전문가’는 실제로 어떻게 생겼나. 예측을 잘하는 드문 사람들을 다룬 연구가 뜻밖에 구체적인 답을 줌. Good Judgment Project의 ‘슈퍼예측가’들이 두드러진 건 타고난 지능이 아니라 성향이었음. 능동적 열린 사고와 belief updating(믿음 갱신)인데, 데이터상 이 성향이 IQ보다 예측력을 약 3배 더 잘 설명했음. (테틀록·가드너, 『Superforecasting』) 쉽게 말하면 이들은 점수를 매기고, 틀리면 생각을 바꿈. 전문가 검증은 바로 그것을 찾는 네 가지 체크로 좁혀짐.

표식 1과 2: 실적, 그리고 돈

첫 번째 표식은 실적(track record)임. “이 사람이 자신 있어 보이나”가 아니라 “전에 무엇을 예측했고, 그게 맞았나”임. 아무도 적어두지 않은 예측은 채점 자체가 불가능함. 자신만만한 논평가가 작년의 헛발질을 좀처럼 먼저 꺼내지 않는 이유임. 확인할 수 없는 주장은 믿을 수도 없는 주장임.

두 번째 표식은 이해상충(conflict of interest), 곧 누가 이 견해에 돈을 대는가라는 단순한 질문임. 산업계가 후원한 연구는 후원사에 유리한 결론이 나오는 경향이 반복 확인됐고, 그래서 의학계는 아예 공개를 의무화했음. ICMJE 표준은 저자에게 재무 관계 공개를 요구하고, 공개 양식은 직전 36개월치를 밝히게 함. (ICMJE; PMC 리뷰) “내가 이걸 믿으면 누가 이득 보나”는 냉소가 아님. 한 직업 전체가 제도로 못 박은 질문임.

표식 3과 4: 반대편, 그리고 영역

세 번째 표식은 반대편 전문가임. 한 명의 전문가가 하는 말은 일화이고, 한 분야는 스펙트럼임. 어떤 출처를 “혼자서 모두에 맞서는 용감한 목소리”라고 우겨야만 방어된다면, 그건 훈장이 아니라 경고등임.

네 번째 표식은 합의와 개인 의견을 가르고, 그 주장이 애초에 말하는 사람의 영역 안에 있는지 점검함. 경계 사례가 회의주의자들이 말하는 ‘Nobel disease(노벨병)’임. 일부 노벨상 수상자가 수상 뒤 자기 전문 밖 주제에서 비과학적 주장을 펴는 경향임. (Wikipedia; Skeptical Inquirer) 전문성은 도메인 사이를 자동으로 넘어가지 않음. 노벨상 수상자 폴 너스는 후배들에게 상의 권위 뒤에 숨어 거의 모든 것에 확신 있게 의견 내지 말라고 경고함.

네 표식을 겹쳐 읽으면 확인 가능한 전문가의 윤곽이 나옴. 공개된 예측, 밝혀진 돈줄, 이름을 댄 비판자, 영역 안에 머무는 주장임. 그 윤곽이 바로 거친 겉면임. 매끄러운 직함에는 없는 것임.

누가 그 사람을 무대에 세웠나

개인 밑에는 한 층이 더 있음. 전문가 검증은 애초에 누가 어떤 전문가에게 마이크를 쥐여주는지도 물어야 함. 명성은 정확도와 오히려 반비례했음. 그러니 ‘잘 맞히는 것’이 아닌 다른 무언가가 우리가 볼 사람을 고르고 있다는 뜻임.

그 무언가는 대개 알고리즘과 시청률임. 방송 패널은 신중한 “경우에 따라 다릅니다”보다 자신만만하고 극적인 단언에 보상을 줌. 추천 피드는 시선을 붙드는 것이면 뭐든 증폭함. 한국 규제기관도 조회수 경제가 창작자를 점점 더 자극적인 확신으로 밀어붙인다고 지적함. (KCIE; MS투데이) 명성은 정확도가 아니라 클릭이 만든 것일 수 있다는 말임. 이 시리즈의 ‘선전 모델’ 동반 글이 이 지점을 더 파고듦.

가장 친근해 보이는 권위가 위험을 숨기는 곳도 여기임. 웰니스·재테크 인플루언서는 parasocial(유사사회적) 친밀감을 쌓음. 자주 보여 친구처럼 느껴지는 얼굴이 만드는 일방적 친밀감임. 그러면서 학술지 같은 안전장치는 하나도 없음. 한 설문에서 응답자의 35.61%가 소셜미디어에서 오해 소지 있는 건강정보를 “많이” 접했다고 답했고, “일부” 접했다는 응답도 큰 비중이었음. (PMC; BMJ Group) 충분히 다정하게 전달된 개인 일화가 어느새 근거로 오인되기 시작함.

한국에 착지: 세 가지 질문을 습관으로

평일 밤 한국 거실로 가져와 봄. 부동산 유튜버가 말함. “지금 안 사면 평생 못 삽니다.” 유튜브 닥터가 약속함. 이 영양제가 당신의 수면을 고쳐줄 거라고. 방송 패널이 완벽하게 침착한 얼굴로 다음 분기 코스피 지점을 못 박음. 하나같이 직함으로 포장돼 도착함.

방어는 전원을 끄고 아무것도 안 믿는 게 아님. 화면에 자격증이 뜨는 순간 자동으로 돌아가는 작은 질문 세 개를 심어두는 것임.

세 질문 반사신경

“이 사람 지난번 예측, 맞았나?” — 실적 질문임. 점수 매겨진 공개 기록을 찾을 수 없다면, 그 자신감은 장식으로 취급하면 됨.

“내가 이걸 믿으면 누가 이득 보나?” — 이해상충 질문임. 돈의 흐름을 제휴 링크로, 유료 강의로, 펀드로, 후원사로 따라가 보면 됨.

“반대편은 뭐라 하나?” — 삼각측량 질문임. 반대하는 신뢰할 만한 전문가가 없다면 아마 덜 찾아본 것이고, 출처가 “반대하는 제대로 된 전문가는 없다”고 우기면 더 찾아봐야 함.

이 모든 것 뒤에 있는 정직한 성적표가 여기 있음. 숫자, 그리고 각 숫자가 실제로 무엇을 재는지임.

판정이 아니라 식별

이 모든 걸 읽고 “모든 전문가는 거짓말쟁이, 모든 직함은 사기”라고 결론 내리기 쉬움. 그건 틀린 교훈이고, 게으른 교훈임.

여기서 적은 전문성이 아니라 벌거벗은 권위임. 네 표식의 핵심은 전문가를 내치는 게 아님. 진짜를 더 빨리 찾게 도와주는 것임. 자기 실적을 공개하고, 돈줄을 밝히고, 실수를 고치는 사람은 거친 겉면을 일부러 보여주는 것임. 그 사람이 귀 기울일 가치가 있는 사람임.

그래서 남는 건 판정이 아니라 반사신경임. 다음에 직함이 눈앞에 떨어질 때 — 박사든, 애널리스트든, 창업자든, 교수든 — 경례하지도 말고 비웃지도 말면 됨. 그냥 세 질문을 돌리고, 답이 알아서 분류하게 두면 됨.

시리즈, 다음 편 예고

4편은 더 미묘한 수를 다룸. 정직한 전문가조차 자기도 모르게 쓰는 수임. 도표나 통계가 기술적으로는 참인데 완전히 오해를 부르는 방식임. 이번 편이 사람을 확인하는 법을 가르쳤다면, 다음 편은 숫자를 확인하는 법을 가르침.

한줄 코멘트. 전문가 검증은 냉소가 아니라 습관임. 무엇이든 믿기 전에 매끄러운 직함을 거칠고 확인 가능한 실적으로 바꿔 드는 작은 규율임.

일상 시사점. 다음에 권위가 화면에 나타나면 고개를 끄덕이기 전에 세 질문을 돌려보면 됨. 지난번 예측은 맞았나. 내가 믿으면 누가 이득 보나. 반대편은 뭐라 하나.

자주 묻는 질문 (FAQ)

Q. 저는 전문가도 아닌데, 전문가 검증을 어떻게 시작하나요? A. 네 가지 체크를 돌리는 데 전문 지식은 필요 없고 습관만 있으면 됩니다. 그 사람에게 공개된 실적이 있는지, 누가 그 견해에 돈을 대는지, 경쟁 전문가는 뭐라 하는지, 그 주장이 실제 자기 분야 안에 있는지를 물으면 됩니다. 이 질문들은 주장의 기술적 내용이 아니라 겉면을 검사하는 것이라, 누구나 돌릴 수 있습니다.

Q. 그래도 강력한 자격증은 뭔가 의미가 있지 않나요? A. 자기 차선 안에서는 그렇습니다. 전문의 자격은 그것이 인증하는 분야에 관해선 강력한 증거지만, 그 밖에서는 증거가 거의 0입니다. 실수는 진짜 자격증 하나가 무관한 주장까지 보증하게 두는 것인데, 심리학에서 후광효과라 부릅니다. 그래서 영역과 합의가 네 표식 중 하나인 것입니다.

Q. 전문가를 매번 검증하는 건 피곤하고 좀 편집증적이지 않나요? A. 세 질문이 반사신경이 되면 생각보다 훨씬 품이 덜 들고, 편집증과는 정반대입니다. 목표는 모두를 불신하는 게 아니라 신뢰를 잘 쓰는 것입니다. 점수를 매기고, 돈줄을 밝히고, 틀렸을 때 인정하는 전문가에게 신뢰를 몰아주면 됩니다.