論文の概要: Smart Model Routing for Order-of-Magnitude LLM Cost Reduction
- arxiv url: http://arxiv.org/abs/2611.15911v1
- Date: Wed, 11 Nov 2026 19:13:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.260245
- Title: Smart Model Routing for Order-of-Magnitude LLM Cost Reduction
- Title(参考訳): オーダー・オブ・マグニチュードLDMコスト削減のためのスマートモデルルーティング
- Abstract要約: 本稿では、ルーティングのための公式なコスト品質最適化フレームワークを開発する。
導出された最適しきい値政治構造、校正逆判別区別、カスケード破断条件、価格比と交通スキューに対する感度解析を含む。
- 参考スコア(独自算出の注目度): 0.04231873866435218
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Frontier large language models (LLMs) deliver the strongest response quality but carry per-token prices often more than an order of magnitude above those of smaller, task-adequate models. Smart model routing addresses this mismatch by assigning each query to the cheapest model expected to answer it adequately, rather than sending every request to the most capable, most expensive endpoint. This paper develops a formal cost-quality optimization framework for routing -- including a derived optimal threshold-policy structure, a calibration-versus-discrimination distinction, a cascade breakeven condition, and a sensitivity analysis over price ratio and traffic skew -- situates that framework against the principal routing architectures and the signals used to estimate query difficulty, and works through a numerical example showing how a calibrated router can reduce blended inference cost by roughly an order of magnitude relative to an always-frontier deployment under specific, stated pricing and traffic assumptions, reporting both the gross reduction from routing policy alone and the net figure with the router's own overhead priced in. We situate this figure against the range reported by published routing systems (roughly 2x to frontier-level accuracy at one-fifth the cost), and close with the practical risks -- under- and over-routing, aggregate quality constraints masking segment-level harm, calibration without discrimination, calibration drift, prompt injection into routing signals, and operational failures such as tier outages and multi-provider price variation -- that determine whether the savings materialize in production. The analysis is primarily analytical, complemented by a GSM8K evaluation of the cascade framework (Section 5), validated (Section 5.2); extending the evaluation across tasks and model families is future work.
- Abstract(参考訳): 最前線の大規模言語モデル(LLM)は、最強の応答品質を提供するが、より小さく、タスクに適したモデルよりも、しばしば桁違いに価格を下げる。
スマートモデルルーティングは、最も有能で最も高価なエンドポイントにすべてのリクエストを送信するのではなく、各クエリを適切な回答を期待する最も安価なモデルに割り当てることで、このミスマッチに対処する。
提案手法は, 最適しきい値法構造, キャッケード分割条件, 価格比およびトラフィックスキューに対する感度解析を含む, ルーティングのための公式なコスト品質最適化フレームワークを開発し, そのフレームワークを主要なルーティングアーキテクチャと, クエリの難しさを推定する信号に対して設定し, キャリブレーションされたルータが, 特定の価格とトラフィックの前提の下で, 常に最前線の配置に対して, ほぼ1桁の差で混合推論コストを削減できることを示す数値例を通して, ルーティングポリシのみと, ルータ自身のオーバヘッドを積載したネットフィギュアの両方について報告する。
この数字は、発行されたルーティングシステム(約2倍からフロンティアレベルの精度で約5分の1のコストで)が報告した範囲と、アンダールートとオーバールー、総合的な品質制約、セグメントレベルの危害の隠蔽、差別のないキャリブレーション、キャリブレーションドリフト、ルーティング信号への迅速な注入、階層停止や複数プロジェクタの価格変動といった運用上の失敗など、実際のリスクと密接に関連している。
分析は主に解析的であり、カスケードフレームワークのGSM8K評価(Section 5)、検証(Section 5.2)によって補完される。
関連論文リスト
- Bayes-Consistent Losses for Adaptive Inference in Classification [30.99529577182067]
単一段またはカスケードルータを用いた共同学習型分類器のコスト依存型ヒンジ損失を提案する。
合成および実データセットの実験により、提案したヒンジ損失が関節トレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2026-10-29T09:44:20Z) - Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation [64.51088225051959]
不均一なAIシステムは、最低コストで最も効果的に答えられる専門家にクエリをルーティングすることで、品質と効率を向上させることができる。
我々はこのトレードオフをPandoraのBoxの例として定式化した。
ガウス信号モデルの下では、得られたポリシーは、各専門家とインプットに対して、その価値見積の精算がそのコストに値するかどうかを決定する、クローズドフォームな情報表現を持つ。
論文 参考訳(メタデータ) (2026-08-20T17:54:37Z) - Task-to-Model Optimization for Enterprise LLM Coding Assistants: A Data-Driven Framework for Cost-Optimal Routing [5.00725149774706]
エンタープライズAIコーディングアシスタントは、相当な推論費用を発生させ、トークンコストの最小化は、再試行、エスカレーション、開発者待ち時間を含むと、エンドツーエンドコストの削減に失敗することが多い。
実運用におけるモデル選択を最適化するためのデータ駆動手法であるタスク・ツー・モデル最適化(T2MO)を提案する。
私たちは、各開発者セッションを、発見、分類、難易度を評価、プロダクション風のハーネスでベンチマークし、品質とレイテンシの制約の中でそれを完了できる最も安価なモデルにルーティングできるタスクとして扱います。
論文 参考訳(メタデータ) (2026-08-09T06:57:53Z) - CR^2: Cost-Aware Risk-Controlled Routing for Wireless Device-Edge LLM Inference [52.849509991178884]
大規模言語モデル(LLM)は集中型クラウドからモバイルエッジ環境に移行する。
軽量オンデバイスモデルとより強力なエッジモデルの間のクエリレベルのルーティングは、このトレードオフをナビゲートするための柔軟なメカニズムを提供する。
既存のルータは、集中クラウド設定とトークンレベルのコストの最適化のために設計されており、無線エッジデプロイメントにおける動的レイテンシとエネルギーオーバーヘッドをキャプチャできない。
論文 参考訳(メタデータ) (2026-05-12T11:50:15Z) - Is Escalation Worth It? A Decision-Theoretic Characterization of LLM Cascades [0.0]
制約付き最適化と双対性に基づく決定論的フレームワークを開発する。
フレームワークを5つのプロバイダから8つのモデルにまたがる5つのベンチマークで検証します。
論文 参考訳(メタデータ) (2026-05-07T14:32:27Z) - RouteLMT: Learned Sample Routing for Hybrid LLM Translation Deployment [57.588738943463646]
大規模言語モデル(LLM)は機械翻訳(MT)において顕著な性能を発揮した
大規模に展開するのは 違法に高価です
モデル内ルータである textbfRouteLMT を提案する。
論文 参考訳(メタデータ) (2026-04-24T13:02:45Z) - Meta-Router: Bridging Gold-standard and Preference-based Evaluations in Large Language Model Routing [15.724480880994259]
大規模言語モデル(LLM)ルータは、クエリ毎に候補のプールから最も適切なモデルを選択する。
クラウドソーシングやLSM-as-a-judgeシステムを通じて収集された嗜好ベースのデータは、より安価でスケーラブルだが、応答の真の品質を反映することにはバイアスが伴うことが多い。
我々は、好みデータバイアスを補正し、2つのデータソース間の不均衡に対処し、ルーティングの堅牢性と効率を改善する統合因果ルータトレーニングフレームワークを開発する。
論文 参考訳(メタデータ) (2025-09-29T21:44:00Z) - Cost-Aware Contrastive Routing for LLMs [57.30288453580456]
我々は、プロンプトとモデルの両方を共有埋め込み空間にマッピングする軽量フレームワークであるコストスペクトルコントラストルーティング(CSCR)を紹介します。
CSCRはベースラインを一貫して上回り、精度とコストのトレードオフを最大25%改善した。
論文 参考訳(メタデータ) (2025-08-17T20:16:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。