Anthropic 증류 공격 방어: Claude 복제 90~99% 차단, 中 군 연계 요청까지 막은 장치

AI 증류 공격이란 무엇이고 왜 국가 안보 문제가 됐나?

증류 공격은 가짜 계정 수천 개로 앞선 모델에 질문을 퍼붓고, 답변과 추론 과정을 모아 자기 모델의 교재로 쓰는 일이다. 수년의 연구와 수십억 달러의 학습 비용을 질문 몇백만 번으로 따라잡을 수 있어, 미국 AI 기업들은 이를 기술 유출이자 안보 문제로 다루기 시작했다.

Anthropic은 2026년 2월에 처음으로 이 문제를 공개했다. 당시 지목한 DeepSeek, Moonshot, MiniMax 세 곳의 작업은 약 24,000개의 가짜 계정으로 1,600만 건 이상의 대화를 긁어간 규모였다. 로이터에 따르면 Anthropic, OpenAI, Google 모두 증류를 경쟁사가 더 빠르고 싸게 능력을 재현하는 경로로 보고 있다. 미중 경쟁이 겹치면서 이 문제는 상업 분쟁을 넘어 안보 의제가 됐다.

왜 추론 과정이 핵심인지는 Anthropic이 직접 실험으로 보여줬다. Claude Opus 4.8의 대화 기록으로 모델을 학습시켰을 때, 추론 과정을 요약본만 준 모델은 SWE-bench Verified에서 71.8%를 받았고 전체 추론 기록을 준 모델은 80.4%를 받았다. 모델이 답에 이르는 길을 통째로 넘겨주면 8.6%포인트가 그냥 따라온다는 뜻이다. 그래서 이번 방어의 표적은 답변이 아니라 추론 기록이다.

AI 모델의 추론 과정은 이제 제품의 일부가 아니라 지켜야 할 영업비밀이 됐다.

Anthropic은 어떻게 90~99%를 막았나: 3겹 장치

방어는 추론 기록에 손을 못 대게 하고, 캐내려는 시도를 분류기로 잡고, 반복하는 계정을 끊는 세 겹으로 짜였다. 이 중 두 번째 분류기는 Anthropic이 생화학무기 제조 지원을 막는 안전장치와 "비슷한 수준으로 견고하다"고 표현한 장치다.

1겹: 추론 보호, 과거 대화에 손대지 못하게 하기

공격자들은 Claude의 이전 대화 맥락을 편집하는 방식으로 숨겨진 추론을 드러내게 만들었다. Anthropic은 Claude Fable 5.1과 Claude Opus 5.5에서 "preserved thinking"이라는 기능을 도입해, 2026년 8월 31일 이후 만들어진 API 계정이 Claude의 이전 맥락을 편집하지 못하게 막았다. Claude Sonnet 5.5에서는 추론 기록을 그 요청을 보낸 조직만 볼 수 있다. 다른 조직은 같은 모델을 써도 남의 추론을 들여다볼 수 없다.

2겹: 추출 시도를 잡는 2단계 분류기

추론을 캐내려는 요청을 식별하는 분류기를 두 단계로 쌓았다. Sonnet 5.5, Opus 5와 5.5, Fable 5와 5.1에 적용되며, 내부와 외부 레드팀 공격을 거쳤다. 정상 요청을 잘못 막는 비율은 0.1% 미만이라고 밝혔다. 이 분류기를 넣은 뒤 증류 공격자가 가져간 추론 토큰은 "일관되게 이전의 10분의 1에서 100분의 1"로 줄었다. 추론을 다른 언어로 번역해 달라고 하는 식의 우회 기법도 발견 즉시 막았다.

3겹: 반복 시도 계정 차단과 차단 요청 과금

추출을 반복하는 계정은 사용 한도가 줄고, 끝까지 시도하면 정지된다. Anthropic은 수만 개 계정을 정지했고, 공격이 시작된 지 2시간 안에 끊은 경우가 많다고 밝혔다. 그리고 2026년 9월 24일부터는 안전장치가 응답 전에 막은 요청에도 요금을 부과한다. 공격자가 시도 자체로 비용을 치르게 하는 조치다. 그 대가로 Anthropic은 "수조 토큰 분량의 유료 트래픽"을 돌려보냈다고 썼다.

Kimi에 물었는데 Claude가 답했다: 中 군 연계 요청이 드러난 경로

이번 발표에서 가장 주목할 사례는 Moonshot이 자사 Kimi 모델에 들어온 사용자 요청을 몰래 Claude로 넘겨 답하게 한 일이다. 사용자는 Kimi와 대화한다고 믿었지만 실제 답은 Claude가 썼다. 그 요청 중 하나가 중국 인민해방군 연계로 추정되는 사용자가 특정 인물의 CCTV 감시 영상을 분석해 달라는 것이었다고 Anthropic은 밝혔다.

Anthropic의 9월 위협 보고서 기준으로 이 경로는 가짜 계정 5,380개를 통해 열흘 동안 약 30만 건의 요청을 넘긴 규모였다. 보고서는 넘어온 요청에 기업 코드와 실제 자격 증명, 감시 업무가 섞여 있었다고 적었다. 이 사례가 일반 사용자에게 주는 교훈은 분명하다. 내가 쓰는 AI 도구가 어느 모델로 내 요청을 보내는지, 사용자는 화면만 보고는 알 수 없다.

또 하나의 사례는 Zhipu(Z.ai)다. Anthropic은 Zhipu가 GLM-5.3을 개발하면서 미국 모델들의 사이버 능력을 증류했다고 썼다. Claude의 사이버 안전장치가 공격을 약화시키자 Zhipu는 더 오래된 Claude 모델과 다른 미국 연구소의 모델로 옮겨갔다는 것이 Anthropic의 설명이다. 로이터는 Z.ai에 논평을 요청했으나 즉답을 받지 못했다고 보도했다. 이 부분은 Anthropic의 일방 주장이므로 그렇게 읽어야 한다.

Anthropic이 이용 정책을 어떻게 집행하는지, 어떤 행위가 계정 정지로 이어지는지는 Anthropic 이용 정책 개정의 실제 문구에 따로 정리해뒀다. 모델 위험 등급을 올린 배경은 2026년 8월 리스크 리포트 정리에서 볼 수 있다.

그래서 기업 실무자는 무엇을 확인해야 하나?

확인할 것은 세 가지다. 우리 API 계정이 8월 31일 이후 만든 것인지, 차단 요청 과금이 청구서에 잡히는지, 사내에서 쓰는 외부 AI 도구가 어느 모델로 요청을 보내는지다. 셋 다 보안팀이 아니라 AI를 실제로 쓰는 부서가 먼저 알아야 하는 항목이다.

1. API 계정 생성일을 확인한다: 2026년 8월 31일 이후 만든 계정은 Claude의 이전 맥락을 편집할 수 없다. 대화 맥락을 고쳐 넣는 방식으로 짜인 사내 자동화가 있다면 동작이 달라진다. Anthropic도 "일부 개발자는 연동을 업데이트해야 한다"고 적었다. 개발팀에 이 한 줄을 전달하는 것으로 충분하다
2. 차단된 요청의 비용을 본다: 9월 24일부터 안전장치가 막은 요청도 과금된다. 오차단율은 0.1% 미만이지만 대량 호출을 하는 조직에서는 그 0.1%가 숫자로 잡힌다. 차단이 반복되는 프롬프트가 있다면 공격으로 오인될 패턴이 있는지 먼저 본다
3. 외부 도구의 모델 경로를 묻는다: Kimi 사례의 핵심은 사용자가 모르는 사이 요청이 다른 모델로 갔다는 점이다. 사내에서 쓰는 AI 서비스가 어느 모델을 쓰는지, 요청이 어디로 가는지를 계약서와 설정에서 확인한다. 조직 차원에서 이 경로를 한 곳에서 통제하는 방법은 AI 게이트웨이로 LLM 데이터 유출 막기에 정리했다

이 세 가지는 결국 하나의 질문으로 모인다. AI가 읽을 수 있는 것과 쓸 수 있는 것, 그리고 요청이 외부로 나가기 전에 사람이 확인하는 지점을 조직이 정해뒀는가. 하네스 엔지니어링 프레임워크에서 Harness 단계가 다루는 항목이 바로 이것이고, 모델 회사가 자기 모델을 지키는 방식과 기업이 자기 데이터를 지키는 방식은 구조가 같다. 하네스 엔지니어링 총론에서 네 가지 결정 항목을 확인할 수 있다.

이 발표에서 조심해서 읽어야 할 부분

숫자는 인상적이지만 세 가지 단서가 붙어 있다. 자체 측정값이라는 점, 효과의 지속 기간을 모른다는 점, 그리고 정상 사용자에게 영향을 주지 않겠다던 2월의 목표를 "완전히 달성하지 못했다"고 Anthropic 스스로 인정한 점이다.

• 90~99%는 초기 증거다: Anthropic은 "아직 매우 정교하고 끈질긴 우회 시도를 보지 못했다"고 썼다. 공격자가 적응하면 수치는 바뀐다. 고양이와 쥐의 게임이 될 것이라는 표현을 발표문에서 직접 썼다
• 정상 사용자도 비용을 나눠 진다: 오차단 0.1% 미만과 차단 요청 과금, 연동 업데이트 필요는 모두 공격자가 아니라 일반 고객에게 돌아가는 부담이다
• 기업 지목은 일방 주장이다: Moonshot과 Zhipu 사례는 Anthropic의 조사 결과이며 해당 기업의 반론은 보도 시점에 없었다. 중국 측은 앞선 유사 의혹에 대해 "순전한 비방"이라고 반박한 바 있다