2026 年,大多數把模型放在聊天介面背後的產品,都會伸手去拿當下最聰明的頂尖模型。Cambio 跑的是 Gemini 2.5 Flash Lite。以下是導向這個選擇的真實工程權衡——包括我們一開始曾花時間在另一款快速級模型上的那段時間——以及什麼條件會讓我們再次改變主意。
當你把語言模型放在產品介面後面時,最大聲的預設選項,是挑當月排行榜上名次最高的前沿模型。愈聰明愈好,道理是這樣說的,而且到了規模化之後成本差距就會消失。
Cambio 跑在 Gemini 2.5 Flash Lite 上——Google 的快速產品線,不是推理產品線。自 2026 年 5 月 27 日起,它就是正式環境的預設;在那之前,同一層跑的是 xAI 的 grok-4-1-fast。這篇文章講的是目前這個選擇背後的工程理由,以及什麼條件會讓我們再次重新評估。
模型在 Cambio 必須做的事
兩份工作,都有明確界線。兩者都不吃重推理。
第一件事是解析。模型收到一則簡短的使用者訊息,回傳一個 JSON 物件:一個取自固定清單的意圖、七個實體欄位——來源幣種、來源鏈、目標幣種、目標鏈、金額、方向與偏好——以及一個信心數值。模型不是第一個看到訊息的東西:一個決定性的解析器自己就處理掉大多數輪次,只有在它不確定時才會問模型。在 209 個正式環境輪次的樣本中,決定性那一層自己回答了 69%,真正走到模型的是 8%。
第二件事是敘述。模型收到一個結構化的報價物件,在它周圍寫一句簡短的白話。它不能寫價格、匯率或金額——所有數字都由卡片承載,模型從來不會被交付產生數字的工作。若它要加一句語氣用的短語,程式會把那句話限制在十二個字以內,超過就丟掉。
兩份工作都不涉及多步推理。兩份工作都不要求模型在眾多選項間抉擇。兩份工作都不需要模型與工具互動、呼叫 API 或跨回合保有狀態。所需的能力是:讀一段簡短提示、遵循結構化輸出格式、產出通順的英文。每一款現代語言模型都做得到,包括兩三年前推出的那些。
為什麼頂尖推理模型在這裡是錯的工具
我們沒有針對這個工作負載做前沿模型之間的直接評測,也不會發表一份自己沒做過的評測。這個選擇本來就不需要它。問題從來不是哪個模型最厲害,而是對兩件大部分時候已經由決定性程式處理掉的工作來說,哪個模型夠快、夠便宜,而且在結構化輸出上夠嚴謹。
我們真正量過的,是自己的系統。一次分類呼叫大約是 70 個輸入 token 與 30 個輸出 token——以定價計,每個未命中快取的提示大約 0.0001 美元(2026 年 5 月 26 日對 Flash Lite 實測)——而重複的提示會由快取直接回應,根本不會碰到模型。延遲方面,決定性路徑端到端平均約 1.1 秒,會呼叫模型的路徑約 2.3 秒。模型的選擇要回答的是這個差距,不是排行榜。
過了某個點之後,多出來的能力就是浪費掉的預算。一旦模型對一件範圍明確的工作已經夠快也夠準,體驗就由延遲主導,而不是由模型的上限主導。
為什麼整體上選快速級
候選名單是我們代理層支援的那些供應商的快速產品線:目前在跑的 Gemini 2.5 Flash Lite、先前在跑的 grok-4-1-fast,以及至今仍可選用的 GPT-5 Mini。三個都讀得懂簡短提示、遵守結構描述、寫得出一句話。在我們的量級上,三個都便宜到價格本身不足以決定答案。
所以這個決定關乎營運上的適配,而不是能力:在我們實際跑的量級上一次呼叫要多少錢、模型回傳我們結構描述所要求之物件的可靠度有多高、供應商忙碌時它的表現如何,以及日常跟那家供應商相處起來有多順。
為什麼特別是 Gemini 2.5 Flash Lite
關於成本:我們的提示輸入短、輸出也短,正是快速產品線定價最划算的形狀。以約 70 個輸入 token、30 個輸出 token 計,一次呼叫按定價約 0.0001 美元;而重複的提示根本不會送到模型,因為分類結果已被快取。我們不會公布這三者的價格排名,因為我們沒有做過一份經得起檢驗的比較。
關於結構化輸出:我們不會丟一段自由文字出去然後祈禱。呼叫會把回應型別鎖定為 JSON,把一份明確列出必填欄位與列舉值的回應結構描述交給 Google,並以溫度零執行。回來的東西只要不符合結構描述就會被丟棄,該輪次改走決定性處理——格式錯誤的輸出代價是一次重試,永遠不會是一張錯的卡片。
關於失敗時的行為:這一層接收一份有順序的供應商清單,預設是先 Gemini 再 xAI,沒有設定的就安靜略過。如果所有已設定的供應商都失敗,該輪次會回傳一個安全的後備結果,而不是把客戶卡住。模型故障代表回覆變慢,而不是輸入框掛掉。
關於先前的正式運行:Cambio 的第一個版本,這一層跑的是 grok-4-1-fast。2026 年 5 月 27 日換成 Flash Lite,並不是因為 Grok 有問題。代理層不綁定供應商——xAI 與 OpenAI 至今仍可用一個環境變數選用——所以這個選擇是可以逆轉的。
為什麼不用推理版
Gemini 2.5 有推出一個思考模式版。我們不用它。思考模式是為那些能從思維鏈中獲益的問題而設計的——多步驟問題、模型必須權衡各種選項的問題、中途的草稿步驟能改善最終答案的問題。
我們這兩件工作都不是那種工作。把一則簡短訊息變成一個 JSON 物件,不會因為多一個推理步驟而更好;在程式早就算好的報價旁邊寫一句話,也一樣。因此這個呼叫把思考預算設為零。我們自己分類器裡的註解講得很白:單次分類不需要思維鏈。
這個設定寫在程式裡,而不是放在誰的腦袋裡,而且對這一層的每一次呼叫都生效。這種預設值值得寫下來:你不需要的推理,就是你每一輪都要付的延遲。
我們所放棄的
誠實說明取捨。不挑前沿模型,我們放棄的是最含糊訊息上的餘裕:真的打出一句難以理解的話的人,拿到的釐清問題可能比更大的模型所能給的弱一些。我們也放棄了前沿產品線在賣的那些能力——超長的上下文視窗、很長的工具呼叫鏈、深度多模態推理——我們這兩件工作一個都用不到,但如果我們擴大模型的職責,它們就會重要起來。我們不會擴大,一如這個系列的前一篇所說。
我們沒有放棄的:決定性路徑,它在完全沒有模型的情況下回答掉大多數輪次;卡片上每一個數字都由程式計算、絕不由模型書寫這條規則;以及在這筆取捨不再划算時,用一行設定換掉供應商的能力。
我們會在什麼時候重新評估
有幾個特定條件會讓我們重新檢視模型的選擇。
如果 Flash Lite 的延遲明顯變差而且一直沒有回來,延遲預算就破了,我們就換。我們看的是自己輸入框的延遲,而不是供應商公布的數字,因為那才是客戶感覺得到的數字。
如果某個語言的品質下滑,我們可以把那個語言導到別處。助理已經用九種語言回覆,而這一層接收有順序的供應商清單,所以那是設定問題,不是重寫。
若定價出現大幅變動——例如 Google 將 Flash Lite 的費率調高 5 倍,或某個競爭對手降到十分之一——我們就會重新檢視成本這一軸。我們不會為了 10% 的價差而更換,但結構性的轉變則另當別論。
如果有更新的快速產品線模型,在我們自己的提示上——客戶真正會打的那些字,而不是公開排行榜——表現更好,我們就換。這一層當初會走到 Gemini,靠的正是同一套做法。
普遍的啟示
選擇模型是一項取決於工作負載的決策,而非取決於品牌的決策。對一項產品而言,「最好」的模型取決於你所傳送提示的形態、你所擁有的延遲預算、你所需要的結構化輸出紀律、你在自身規模下的成本範圍,以及你能接受的供應商立場。這些因素沒有一項會顯示在排行榜上。它們全都必須對照你實際的工作負載來衡量——而且要定期重新衡量,因為供應商每隔幾個月就會推出新的快速級別模型,答案也可能隨之改變。
以 Cambio 的形態而言——簡短對稱的提示、嚴格的延遲預算、兩項不需要推理的狹窄工作——Gemini 2.5 Flash Lite 是目前正確的答案。對於形態不同的另一項產品,正確答案確實會不一樣。如果你正在打造任何類似的東西,真正的重點不是「用 Gemini Flash Lite」,而是「打造一個與供應商無關的代理層、以你實際的工作負載測試快速級別,並每季重新執行一次測試」。
本系列的最後一篇文章會比目前為止的任何一篇都更深入:Cambio 上的跨鏈兌換如何在沒有跨鏈橋合約的情況下運作,以及為什麼這與業界許多業者用來做同一件事的架構,在營運特性上有所不同。



