3B가 수학은 이기고 지식은 진 이유 — 소형 추론 모델 효율성

30억 파라미터짜리 모델이 AIME 2026에서 94.3점을 받았음. 671B 대형과 동급이고, Gemini 3 Pro보다 높은 점수임. 헤드라인은 “작은 모델이 대형을 이겼다”고 외쳤음. 그런데 같은 모델이 대학원 지식 시험(GPQA)에서는 Opus 4.5에 17점 뒤지고, 자기 모델 카드에는 “툴 호출·에이전트는 못 한다”고 적혀 있음. 이긴 게임과 진 게임을 나눠보면, 소형 추론 모델 효율성의 진짜 교훈은 “3B가 더 똑똑해서 이겼다”가 아님. 추론이 지식과 분리 가능한 능력이고, 작은 크기로 압축까지 된다는 사실인 것임.

모델 이름은 VibeThinker-3B임. 중국 시나 웨이보(Sina Weibo)의 AI팀 WeiboAI가 MIT 라이선스로 가중치를 완전 공개했음. 추론 예산을 이 모델 기준으로 다시 짜기 전에, 헤드라인보다 좁은 질문 하나를 먼저 던져야 함. 이 3B는 정확히 무엇을 이겼고, 여전히 무엇은 못 하는가.

모델은 실존함. 그런데 “Opus 4.5 추월”은 좁은 축에서만 참임

VibeThinker-3B는 실존하고, 오늘 바로 내려받을 수 있음. Qwen2.5-Coder-3B를 기반으로 한 3B dense 모델이고, MIT 라이선스로 배포됨. 가중치를 직접 돌리고, 파인튜닝하고, 재배포할 수 있다는 뜻임 (arXiv, HuggingFace).

떠도는 시드 주장, “Opus 4.5를 전면 추월했다”가 바로 이야기가 어긋나는 지점임. WeiboAI 본인들의 표현은 훨씬 절제돼 있음. 답을 검증할 수 있는 추론 벤치마크 한정 최상위 동급이지, 범용 패리티가 아님. 대학원 지식 벤치마크인 GPQA-Diamond에서 VibeThinker-3B는 70.2점, Opus 4.5는 87.0점임 (the-decoder). 반올림 오차가 아니라, 지식에서 17점 격차인 것임.

정확한 문장은 “3B가 프론티어를 이겼다”가 아님. 답을 확인할 수 있는 게임에서만 프론티어에 도달했고, 넓은 지식이 필요한 게임에서는 한참 뒤처졌다는 것임. 아래는 전부 이 두 더미를 나누는 작업임.

VibeThinker-3B가 실제로 이긴 것

정답을 검증할 수 있는 태스크, 즉 경시 수학·경쟁 코딩·복잡 지시이행에서의 숫자는 확실히 눈에 띔.

수학과 경쟁 코딩

AIME 2026에서 94.3점임. WeiboAI는 이를 671B DeepSeek V3.2와 동급이고 Gemini 3 Pro의 91.7점을 넘는 수치로 보고함 (MarkTechPost). 테스트타임 스케일링 기법인 CLR을 켜면 보고 수치가 AIME 2026 97.1, AIME 2025 96.7, HMMT 2025 95.4로 올라감. 다만 이건 CLR 적용값이고, 94.3 기본값과는 구분해야 함.

코드에서는 LiveCodeBench v6가 80.2 Pass@1임. 논문은 이 점수가 테스트한 120B 미만 전 모델을 앞선다고 주장함. 128문제짜리 LeetCode 세트에서는 123문제를 첫 시도에 풀었음. 96.1%인 것임 (arXiv, neurohive).

어려운 지시를 따르는 능력

패턴을 가장 잘 보여주는 결과는 IFBench임. 복잡하고 겹겹인 제약을 지킬 수 있는지를 측정하는 벤치마크임. VibeThinker-3B는 74.5점으로, Opus 4.5(58.0)와 Kimi K2.5(70.0)를 둘 다 앞섬. 규칙 안에서 벗어나지 않는 추론이야말로 압축이 잘 되는 능력임.

이 수치는 전부 WeiboAI 자기보고이고 독립 재현을 기다리는 상태임. 이 단서는 글 말미에서 다시 다룸.

이 모델이 못 하는 것

이제 반대편 더미임. 개방형 지식에서 VibeThinker-3B는 프론티어 근처에도 못 감. GPQA-Diamond에서 70.2점(CLR 72.9)인데, Opus 4.5 87.0, Gemini 3 Pro 91.9, Kimi K2.5 87.6, DeepSeek V3.2 82.4에 비해 비교 대상에 따라 17~22점 열세임 (the-decoder).

더 중요한 건 모델 카드 자체가 선을 긋는다는 점임. WeiboAI는 이 모델이 툴 호출·에이전트 데이터로 학습되지 않았다고 명시하고, 함수 호출·API 오케스트레이션·자율 코딩 에이전트에 부적합하다고 못 박음. 개방형 지식은 대형 범용 모델이 여전히 낫다는 말도 덧붙임 (HuggingFace 모델 카드).

벤더가 자기 모델의 약점을 직접 알려주는 드문 경우임. 문자 그대로 읽으면, VibeThinker-3B는 어시스턴트가 아니라 추론 엔진임. 생각은 하지만, 행동은 안 하는 것임.

추론과 지식은 분리 가능한 능력임

흥미로운 주장은 벤치마크 표가 아님. 저자들이 거기에 붙인 이론임. 파라미터 압축-커버리지 가설(Parametric Compression-Coverage Hypothesis)임.

쉽게 말하면 이런 얘기임. 논리 추론은 몇 개 안 되는 반복 패턴에 기대므로, 작은 파라미터 핵심으로 압축할 수 있음. 개방형 지식은 다름. 파라미터를 많이 먹는 성격이라, 넓은 커버리지에는 많은 파라미터가 필요함. 사실 하나가 늘 때마다 그걸 저장할 자리가 필요하기 때문임 (the-decoder).

이게 맞다면 VibeThinker-3B가 증명한 건 “작아서 똑똑하다”가 아님. 더 정밀한 것을 보여준 것임. 추론은 지식과 분리해서 훨씬 작은 용량에 담을 수 있는 능력이라는 점임. TheByteDive가 GLM-5.2와 GPT-5.5를 비교하며 썼던 틀, 즉 모델에는 두 종류의 능력이 있고 헤드라인 숫자 하나로는 어느 쪽을 사는지 알 수 없다는 관점을 그대로 잇는 것임.

한 과목은 전교 1등인데 나머지는 평범한 학생을 떠올리면 됨. 증명을 잘한다고 역사를 더 아는 건 아님. VibeThinker-3B가 딱 그 학생을 가중치로 옮겨놓은 셈임.

소형 추론 모델 효율성은 병목 이동 이야기임

소형 추론 모델 효율성이 이 한 번의 출시를 넘어 중요한 이유가 있음. 모델 품질의 병목이 이동했다는 신호이기 때문임.

수년간 믿을 만한 지렛대는 규모였음. 파라미터를 더, 컴퓨트를 더. 그런데 VibeThinker-3B의 추론은 크기에서 나온 게 아님. Spectrum-to-Signal이라 부르는 사후학습 레시피에서 나옴. 커리큘럼 지도학습(SFT)에 다중도메인 강화학습, 오프라인 자기증류를 얹은 방식임 (VentureBeat, arXiv).

다들 반복하는 비용 수치에는 울타리를 쳐야 함. 널리 인용되는 $7,800(약 1,080만 원)은 3B가 아니라 전작 VibeThinker-1.5B의 사후학습 비용임. DeepSeek R1의 $294K(약 4억 원)보다 최소 37배, MiniMax-M1의 $535K(약 7.4억 원)보다는 약 68배 저렴한 수치임. 3B 모델 자체의 학습 비용은 공개되지 않았음. 그래서 정직한 표현은 “기법이 싸다”이지, “이 3B를 $7,800에 만들었다”가 아님.

핵심은 이동 자체임. 프론티어가 순수 규모에서 학습 기법과 데이터 큐레이션으로 옮겨가면, 능력은 더 이상 GPU를 몇 장 살 수 있느냐로만 결정되지 않음. 올해 내내 반도체·추론 스택을 재편해온 바로 그 병목 이동 패턴임. 율속단계가 계속 새 계층으로 미끄러지는 것임.

배포 경제학 — 6.7GB로 돌리는 프론티어 추론

프론티어 수준으로 추론하는 작은 모델은 학술적 결과에 그치지 않음. 배포의 문제임.

BF16 기준 가중치는 약 6.7GB임. 8GB 소비자용 GPU에서 돌아갈 만큼 작음. INT4로 내리면 약 1.7GB, Q4_K_M GGUF 빌드는 약 2GB라, llama.cpp로 8GB M1 맥에서도 구동됨 (techjacksolutions, codersera, HuggingFace GGUF).

경제적 결과는 뚜렷함. API 없음, 토큰당 한계비용 0, 데이터가 기기 밖으로 안 나감. 검증형 추론에 해당하는 작업이라면(수학·코드·정답 확인이 되는 질문) 이제 한계비용 0으로 자체 호스팅할 수 있음. 이 크기로 자체 호스팅할 수 없는 건 지식 조회와 에이전트 동작임. 그건 여전히 프론티어 클라우드의 몫인 것임.

한국에 주는 의미

한국 팀에게 실질적인 교훈은 “클라우드 모델을 3B로 갈아치우라”가 아님. 하나의 태스크를 통짜로 보지 말고, 능력 축을 따라 쪼개기 시작하라는 것임.

추론과 지식이 분리 가능하다면, 비용 전략도 분리 가능함. 검증형 작업(계산, 코드 생성, 코드 리뷰, 정답 확인형 QA)은 온디바이스로 내릴 수 있음. 한계비용이 0이고 데이터가 건물 밖으로 안 나감. 지식 검색과 에이전트 오케스트레이션은 프론티어 클라우드에 남김. 폭넓음과 툴 사용이 거기 있기 때문임.

데이터가 밖으로 나갈 수 없는 분야(금융·의료·공공)에서는, 노트북에 올라가는 MIT 라이선스 추론 모델이 검증형 작업 몫에 한해 진짜 새로운 선택지가 됨. 소형 추론 모델 효율성의 이득은 실재함. 관건은 각 태스크를 맞는 축으로 라우팅하는 규율인 것임.

단서 — 자기보고 벤치마크

이 글 전체에는 방화벽 하나를 둘러야 함. 여기 나온 모든 점수는 WeiboAI 자기보고이고, 독립검증은 아직 들어오지 않았음. 출시 시점도 하필 커뮤니티의 ‘벤치마킹(benchmaxxing)’ 논쟁 한복판이었음. 모델이 두루 유용하기보다 시험 점수만 잘 받게 튜닝된 것 아니냐는 의심임 (VentureBeat).

그래서 강한 주장은 세 겹으로 헤지해야 함. 검증형 추론 축에서만 참이고, WeiboAI 자기 수치에 귀속되며, 독립 재현은 여전히 대기 중임. 이론은 흥미롭고 배포 계산은 확인 가능하지만, 리더보드 자랑은 아직 확정된 게 아님.

한줄 코멘트 + 직장인 시사점

한줄 코멘트. VibeThinker-3B는 작은 모델이 알고 보니 더 똑똑하다는 걸 증명한 게 아님. 추론과 지식이 분리 가능한 능력이고, 추론 절반은 3B로 압축되지만 지식 절반은 안 된다는 걸 증명한 것임. 그래서 소형 추론 모델 효율성의 이득이 수학·코드에서는 나타나고 GPQA에서는 사라지는 것임.

직장인 시사점. 이제 유용한 질문은 “어떤 모델이 최고인가”가 아니라 “이 태스크는 어느 축에 사는가”임. 검증형 작업은 값싼 로컬 모델로 라우팅하고 지식·에이전트는 프론티어 클라우드에 맡기는 직장인은, 같은 산출물을 훨씬 적은 청구서로 사는 셈임. 그 분류 능력이 어떤 단일 벤치마크 숫자보다 값어치가 큰 시점인 것임.

자주 묻는 질문 (FAQ)

Q. VibeThinker-3B가 정말 Opus 4.5를 이긴 게 맞나요? A. 좁은 축에서만 그렇습니다. IFBench 같은 검증형 추론 벤치마크에서는 VibeThinker-3B(74.5)가 Opus 4.5(58.0)를 앞섭니다. 그러나 GPQA-Diamond 지식 시험에서는 Opus 4.5에 17점 뒤지고(70.2 vs 87.0), 툴 호출·에이전트는 아예 못 합니다. “Opus 4.5 전면 추월”은 정확한 표현이 아닙니다.

Q. 모델이 아는 게 적다면 소형 추론 모델 효율성이 무슨 의미가 있나요? A. 핵심은 태스크 라우팅입니다. 검증형 작업(수학·코드·정답 확인형 질문)은 자기 하드웨어의 3B 모델에서 한계비용 0으로 돌리고, 지식 조회와 에이전트 오케스트레이션은 프론티어 클라우드에 남기면 됩니다. 그 축을 따라 태스크를 쪼개는 데서 비용 절감이 나옵니다.

Q. 이 모델을 정말 $7,800에 만든 게 맞나요? A. 아닙니다. $7,800은 이 3B가 아니라 이전작 VibeThinker-1.5B의 사후학습 비용입니다. 3B 모델 자체의 학습 비용은 공개되지 않았습니다. 공정한 표현은 프론티어 사후학습에 비해 학습 기법이 저렴하다는 것이지, 이 모델이 $7,800이었다는 게 아닙니다.

Q. VibeThinker-3B를 제 노트북에서 돌릴 수 있나요? A. 이 모델이 만들어진 추론 작업에 한해 가능합니다. BF16 가중치는 약 6.7GB(8GB 소비자용 GPU)이고, Q4_K_M GGUF 빌드는 약 2GB라 llama.cpp로 8GB M1 맥에서 구동됩니다. MIT 라이선스라 자체 호스팅에 API 비용도, 데이터 유출도 없습니다.

Q. 이 벤치마크 점수는 독립적으로 검증됐나요? A. 아직 아닙니다. 모든 점수는 WeiboAI 자기보고이고, 출시가 ‘벤치마킹’ 논쟁이 한창일 때 이뤄졌습니다. 이 주장들은 축 한정, 벤더 귀속, 독립 재현 대기 상태로 읽어야 합니다.