2026년에 채팅 표면 뒤에 모델을 두는 대부분의 제품은 이용 가능한 가장 똑똑한 최전선 모델을 집어 듭니다. Cambio는 Gemini 2.5 Flash Lite로 구동됩니다. 여기 그 선택으로 이어진 실제 엔지니어링 트레이드오프가 있습니다 — 우리가 먼저 다른 고속 계층 모델을 썼던 기간을 포함해 — 그리고 우리 생각을 다시 바꾸게 할 조건들도 함께.
제품 화면 뒤에 언어 모델을 둘 때 가장 목소리가 큰 기본 선택은, 그달 순위표 맨 위에 있는 프런티어 모델을 쓰는 것입니다. 똑똑할수록 좋고, 규모가 커지면 비용 차이는 사라진다는 논리죠.
Cambio는 Gemini 2.5 Flash Lite 위에서 돌아갑니다. 구글의 추론 계열이 아니라 빠른 계열입니다. 2026년 5월 27일부터 프로덕션 기본값이며, 그전에는 같은 계층이 xAI의 grok-4-1-fast로 돌아갔습니다. 이 글은 현재 선택의 엔지니어링 근거와, 다시 재검토하게 만들 조건에 대한 것입니다.
모델이 Cambio에서 해야 하는 일
두 가지 작업, 둘 다 범위가 한정되어 있습니다. 어느 쪽도 추론 부담이 크지 않습니다.
첫 번째는 파싱입니다. 모델은 짧은 사용자 메시지를 받아 JSON 객체 하나를 돌려줍니다. 고정된 목록에서 고른 인텐트, 일곱 개의 엔터티 필드(보내는 통화와 네트워크, 받는 통화와 네트워크, 금액, 방향, 선호), 그리고 신뢰도 숫자입니다. 메시지를 가장 먼저 보는 것은 모델이 아닙니다. 결정적 리졸버가 대부분의 턴을 혼자 처리하고, 그 리졸버가 확신하지 못할 때 모델에 묻습니다. 프로덕션 209개 턴 표본에서 결정적 계층이 혼자 69%에 답했고, 모델까지 간 것은 8%였습니다.
두 번째는 서술입니다. 모델은 구조화된 견적 객체를 받아 그 주위에 쉬운 말로 짧은 한 줄을 씁니다. 가격이나 환율, 금액은 쓸 수 없습니다. 모든 숫자는 카드가 들고 있고, 모델에게 숫자를 만들라는 일이 맡겨지는 일은 없습니다. 어조를 위한 문구를 덧붙일 때도 코드가 그 문구를 열두 단어로 제한하고, 더 길면 버립니다.
어느 작업도 여러 단계의 추론을 수반하지 않습니다. 어느 작업도 모델이 많은 대안 중에서 고르기를 요구하지 않습니다. 어느 작업도 모델이 도구와 상호작용하거나, API를 호출하거나, 턴을 넘어 상태를 유지하지 않습니다. 역량 요건은 이렇습니다: 짧은 프롬프트를 읽고, 구조화된 출력 형식을 따르고, 일관된 영어를 만들어내기. 2~3년 전에 출시된 것을 포함해 모든 현대 언어 모델이 이를 할 수 있습니다.
왜 최전선 추론 모델이 여기서 잘못된 도구인가
이 작업 부하를 두고 프런티어 모델끼리 맞붙이는 벤치마크는 돌리지 않았고, 하지 않은 벤치마크를 발표할 생각도 없습니다. 이 선택에는 그것이 필요하지 않았습니다. 질문은 어느 모델이 가장 뛰어난가가 아니라, 결정적 코드가 이미 대부분을 처리하는 두 가지 일에 대해 어느 모델이 충분히 빠르고 충분히 저렴하며 구조화된 출력에 충분히 엄격한가였습니다.
우리가 실제로 측정한 것은 우리 자신의 시스템입니다. 분류 호출 한 번은 입력 약 70토큰, 출력 약 30토큰으로, 정가 기준 캐시에 없는 프롬프트당 0.0001달러 남짓입니다(2026년 5월 26일 Flash Lite 측정). 같은 프롬프트가 반복되면 캐시에서 응답하므로 모델까지 가지 않습니다. 지연 시간은 결정적 경로가 끝에서 끝까지 평균 약 1.1초, 모델을 호출하는 경로가 약 2.3초입니다. 모델 선택이 답해야 하는 것은 순위표가 아니라 이 격차입니다.
어느 지점을 넘어서면 더 많은 능력은 낭비된 예산입니다. 모델이 한정된 일에 대해 이미 충분히 빠르고 충분히 정확하다면, 경험을 좌우하는 것은 모델의 상한이 아니라 지연 시간입니다.
왜 고속 계층 전반인가
후보 목록은 우리 에이전트 계층이 지원하는 공급자들의 빠른 계열입니다. 지금 돌고 있는 Gemini 2.5 Flash Lite, 전에 돌던 grok-4-1-fast, 그리고 여전히 선택할 수 있는 GPT-5 Mini입니다. 셋 다 짧은 프롬프트를 읽고 스키마를 지키고 한 문장을 쓸 수 있습니다. 우리 규모에서는 셋 다 충분히 저렴해서 가격만으로는 결정이 나지 않습니다.
그래서 결정은 능력이 아니라 운영상의 적합성 문제입니다. 실제로 돌리는 규모에서 호출 한 번이 얼마인지, 우리 스키마가 요구하는 바로 그 객체를 얼마나 안정적으로 돌려주는지, 공급자가 붐빌 때 어떻게 동작하는지, 그리고 그 공급자와 매일 지내기가 얼마나 수월한지입니다.
구체적으로 왜 Gemini 2.5 Flash Lite인가
비용에 대해. 우리 프롬프트는 입력도 짧고 출력도 짧은데, 빠른 계열이 가장 좋은 가격을 매기는 형태가 바로 그것입니다. 입력 약 70토큰, 출력 약 30토큰이면 호출 한 번이 정가로 0.0001달러 수준이고, 반복되는 프롬프트는 분류 결과가 캐시되어 있어 모델까지 아예 가지 않습니다. 세 모델의 가격 순위는 공개하지 않습니다. 검증을 견딜 만한 비교를 해 본 적이 없기 때문입니다.
구조화된 출력에 대해. 자유 문장을 요청해 놓고 잘되기를 바라지 않습니다. 호출은 응답 형식을 JSON으로 고정하고, 필수 필드와 열거값을 명시한 응답 스키마를 구글에 건네며, 온도 0으로 실행합니다. 돌아온 결과가 스키마에 맞지 않으면 버리고 그 턴은 결정적 처리로 넘어갑니다. 형식이 깨진 출력의 대가는 재시도일 뿐, 잘못된 카드가 아닙니다.
실패했을 때의 동작에 대해. 이 계층은 순서가 있는 공급자 목록을 받습니다. 기본값은 Gemini 다음 xAI이고, 설정되지 않은 공급자는 조용히 건너뜁니다. 설정된 공급자가 모두 실패하면 그 턴은 고객을 막는 대신 안전한 대체 형태를 돌려줍니다. 모델 장애는 답이 느려지는 일이지, 작성창이 죽는 일이 아닙니다.
이전 프로덕션 운영에 대해. Cambio의 첫 버전은 이 계층을 grok-4-1-fast로 돌렸습니다. 2026년 5월 27일 Flash Lite로 바꾼 것은 Grok이 틀렸기 때문이 아닙니다. 에이전트 계층은 공급자에 묶여 있지 않고 xAI와 OpenAI는 지금도 환경 변수 하나로 선택할 수 있으므로, 이 선택은 되돌릴 수 있습니다.
왜 추론 변형은 안 쓰는가
Gemini 2.5는 사고 모드 변형을 출하합니다. 우리는 그것을 쓰지 않습니다. 사고 모드는 사고 사슬로 이득을 보는 문제 — 여러 단계 문제, 모델이 대안을 고려해야 하는 문제, 중간 스크래치패드 단계가 최종 답을 개선하는 문제 — 를 위해 설계되었습니다.
우리의 두 가지 일은 그런 종류가 아닙니다. 짧은 메시지를 JSON 객체 하나로 바꾸는 일은 추론 단계로 나아지지 않고, 코드가 이미 계산해 둔 견적 주위에 한 문장을 쓰는 일도 마찬가지입니다. 그래서 호출은 사고 예산을 0으로 설정합니다. 우리 분류기의 주석이 그대로 말합니다. 단발 분류에는 사고의 연쇄가 필요 없다고.
그 설정은 누군가의 머릿속이 아니라 코드 안에 있고, 이 계층이 하는 모든 호출에 적용됩니다. 적어 둘 가치가 있는 기본값입니다. 필요 없는 추론이란 매 턴마다 지불하는 지연 시간이니까요.
우리가 포기하는 것
맞바꾼 것을 솔직히 적습니다. 프런티어 모델을 쓰지 않음으로써 가장 모호한 메시지에서의 여유를 포기합니다. 정말로 알아듣기 어려운 문장을 입력한 사람은 더 큰 모델이 줬을 법한 것보다 약한 확인 질문을 받을 수 있습니다. 프런티어 계열이 파는 기능들, 즉 아주 긴 컨텍스트 창, 긴 도구 호출 사슬, 깊은 멀티모달 추론도 포기합니다. 우리 두 가지 일에는 하나도 쓰이지 않지만, 모델의 역할을 넓힌다면 모두 중요해질 것들입니다. 넓히지 않습니다. 이 시리즈의 지난 글에서 말한 그대로입니다.
포기하지 않은 것. 모델 없이도 대부분의 턴에 답하는 결정적 경로, 카드의 모든 숫자는 코드가 계산하고 모델이 결코 쓰지 않는다는 규칙, 그리고 이 맞바꿈이 더는 합리적이지 않을 때 한 줄로 공급자를 바꿀 수 있는 능력입니다.
우리가 다시 검토할 시점
몇 가지 특정 조건이 충족되면 우리는 모델 선택을 다시 열어보게 될 것입니다.
Flash Lite의 지연 시간이 뚜렷하게 나빠지고 그 상태가 이어지면 예산이 깨지므로 바꿉니다. 우리가 보는 것은 공급업체가 발표한 수치가 아니라 우리 작성창의 지연 시간입니다. 고객이 체감하는 것은 그쪽이기 때문입니다.
특정 언어에서 품질이 떨어지면 그 언어만 다른 곳으로 보낼 수 있습니다. 어시스턴트는 이미 아홉 개 언어로 답하고, 이 계층은 순서가 있는 공급자 목록을 받으므로, 그것은 다시 짜는 일이 아니라 설정의 문제입니다.
만약 가격 정책이 크게 바뀐다면 — 이를테면 Google이 Flash Lite 요금을 5배 올리거나 경쟁사가 10분의 1로 내린다면 — 우리는 비용 축을 다시 검토합니다. 우리는 10%의 가격 차이로 전환하지는 않겠지만, 구조적인 변화라면 중요합니다.
더 새로운 빠른 계열 모델이 우리 자신의 프롬프트 — 공개 순위표가 아니라 고객이 실제로 입력하는 문장 — 에서 더 좋은 결과를 낸다면 바꿉니다. 이 계층이 애초에 Gemini에 이른 것도 바로 그 방식이었습니다.
일반적인 교훈
모델을 선택하는 것은 브랜드 결정이 아니라 워크로드에 특화된 결정입니다. 어떤 제품에 "최고의" 모델은 당신이 보내는 프롬프트의 형태, 당신이 가진 지연 시간 예산, 당신에게 필요한 구조화된 출력의 엄격함, 당신의 규모에서의 비용 범위, 그리고 당신이 감당할 수 있는 프로바이더의 태도에 따라 달라집니다. 이 중 어느 것도 리더보드에서는 보이지 않습니다. 이 모든 것은 당신의 실제 워크로드에 대비해 측정되어야 하며 — 그리고 주기적으로 재측정되어야 하는데, 프로바이더들이 몇 달마다 새로운 빠른 등급 모델을 출시하고 정답이 바뀔 수 있기 때문입니다.
Cambio의 형태 — 짧고 대칭적인 프롬프트, 엄격한 지연 시간 예산, 추론이 필요 없는 두 개의 좁은 작업 — 에는 Gemini 2.5 Flash Lite가 오늘의 정답입니다. 다른 형태를 가진 다른 제품에는 정답이 진짜로 다릅니다. 만약 당신이 비슷한 무언가를 만들고 있다면, 핵심은 "Gemini Flash Lite를 써라"가 아닙니다. 그것은 "프로바이더에 구애받지 않는 에이전트 레이어를 구축하고, 실제 워크로드에 대비해 빠른 등급을 테스트하며, 분기마다 그 테스트를 다시 실행하라"입니다.
이 시리즈의 마지막 글은 지금까지보다 더 깊이 들어갑니다: Cambio의 크로스체인 스왑이 브리지 컨트랙트 없이 어떻게 작동하는지, 그리고 그것이 업계의 상당수가 같은 일에 사용하는 아키텍처와 왜 다른 운영 특성을 갖는지 다룹니다.
