論文の概要: Is Escalation Worth It? A Decision-Theoretic Characterization of LLM Cascades

• arxiv url: http://arxiv.org/abs/2605.06350v1
• Date: Thu, 07 May 2026 14:32:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.905909
• Title: Is Escalation Worth It? A Decision-Theoretic Characterization of LLM Cascades
• Title（参考訳）: エスカレーションは有益か? LLMカスケードの決定論的評価
• Authors: Dylan Bouchard,
• Abstract要約: 制約付き最適化と双対性に基づく決定論的フレームワークを開発する。 フレームワークを5つのプロバイダから8つのモデルにまたがる5つのベンチマークで検証します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model cascades, in which a cheap LLM defers to an expensive one on low-confidence queries, are widely used to navigate the cost-quality tradeoff at deployment. Existing approaches largely treat the deferral threshold as an empirical hyperparameter, with limited guidance on the geometry of the resulting cost-quality frontier over a model pool. We develop a decision-theoretic framework grounded in constrained optimization and duality. For a two-model cascade, we establish piecewise concavity of the cost-quality frontier on decreasing-benefit regions of the confidence support, with reciprocal shadow prices linking the budget- and quality-constrained formulations. Given a pool of $k$ models, we characterize the frontier achievable by deterministic two-model threshold cascades as the pointwise envelope over $\binom{k}{2}$ pairwise cascades, with switching points where the optimal pair changes. For $k$-model cascades, we derive first-order conditions in which a single shadow price equalizes marginal quality-per-cost across stage boundaries. We validate the framework on five benchmarks (MATH, MMLU, TriviaQA, SimpleQA, LiveCodeBench) across eight models from five providers. Within the deterministic threshold-cascade class, full fixed chains underperform the pairwise envelope, and optimized subsequence cascades do not deliver practically meaningful held-out gains over it. A lightweight pre-generation router exceeds the best cascade policy on four of five datasets, mainly because it avoids the cheap model's generation cost on queries sent directly to a larger model rather than because of a stronger routing signal. These results suggest that cascade performance is limited primarily by structural cost, since cascades pay the cheap model before any escalation decision, rather than by a shortage of intermediate stages.
• Abstract（参考訳）: モデルカスケードは、安価なLCMが低信頼のクエリで高価なクエリにフェールし、デプロイ時のコスト品質のトレードオフをナビゲートするために広く使用される。 既存のアプローチでは、deferral thresholdを経験的ハイパーパラメータとして扱うことが多く、モデルプール上の結果として生じるコスト品質フロンティアの幾何学についてのガイダンスは限られている。 制約付き最適化と双対性に基づく決定論的フレームワークを開発する。 2モデルのカスケードでは、予算と品質に制約のある定式化をリンクした相互シャドウ価格を用いて、信頼性支援の利害関係の地域におけるコスト品質フロンティアの断片的な凹凸性を確立する。 k$モデルのプールが与えられた場合、決定論的二モデル閾値カスケードによって達成可能なフロンティアを、最適なペアが変化する切替点を持つ$\binom{k}{2}$対のカスケード上のポイントワイドエンベロープとして特徴づける。 k$モデルカスケードの場合、単一のシャドウ価格がステージ境界における限界品質とコストを等しくする一階条件を導出する。 5つのプロバイダの8つのモデルに対して、このフレームワークを5つのベンチマーク(MATH、MMLU、TriviaQA、SimpleQA、LiveCodeBench)で検証する。 決定論的しきい値カスケードクラスでは、完全な固定鎖がペアエンベロープを過小評価し、最適化されたサブシークエンスカスケードは実質的に有意義なホールドアウトゲインを与えない。 軽量のプレジェネレーションルータは、5つのデータセットのうち4つで最高のカスケードポリシーを超えている。 これらの結果から, カスケードの性能は, 中間段階の不足ではなく, エスカレーション決定の前に安価なモデルで代金を支払うため, 主に構造的コストによって制限されていることが示唆された。

関連論文リスト

• RouteLMT: Learned Sample Routing for Hybrid LLM Translation Deployment [57.588738943463646]
  大規模言語モデル(LLM)は機械翻訳(MT)において顕著な性能を発揮した 大規模に展開するのは 違法に高価です モデル内ルータである textbfRouteLMT を提案する。
  論文  参考訳（メタデータ） (2026-04-24T13:02:45Z)
• CascadeDebate: Multi-Agent Deliberation for Cost-Aware LLM Cascades [3.2562960801091094]
  CascadeDebateは、モデルと人間の専門家を協調して精度、コスト、そして不確実性の下での棄権のバランスをとるマルチエージェントシステムである。 我々のアーキテクチャは、モデルスケールにまたがる選択的なマルチエージェント検討と単一モデル推論を交互に行い、最終的なフォールバックとして人間の専門家を導いた。 科学、医学、一般知識にまたがる5つのベンチマークで、CascadeDebateは強力なシングルモデルカスケードとスタンドアロンのマルチエージェントシステムより最大26.75パーセントパフォーマンスがある。
  論文  参考訳（メタデータ） (2026-04-14T04:26:39Z)
• CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
  CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。 この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
  論文  参考訳（メタデータ） (2026-03-09T07:15:23Z)
• Budget-Aware Agentic Routing via Boundary-Guided Training [24.0709108941881]
  予算対応エージェントルーティング(Budget-Aware Agentic Routing)は、各ステップで安価なモデルと高価なモデルを選択して、コスト削減フロンティアを最適化する。 境界誘導訓練(Boundary-Guided Training)は、希少な報酬の下で学習を定着させるために難しい分類法を構築する。 実験結果から,提案手法は高効率フロンティアを改良し,強いルーティングベースラインを極めて低コストで整合することを示した。
  論文  参考訳（メタデータ） (2026-02-04T07:39:27Z)
• C3PO: Optimized Large Language Model Cascades with Probabilistic Cost Constraints for Reasoning [24.65381108650337]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な結果を得たが、その高い推論コストは、現実世界のデプロイメントにとって大きな障壁であり続けている。 既存のカスケード法はラベル付きデータによる教師付きトレーニングに依存しており、理論的一般化の保証は提供せず、テスト時間計算コストの制限も与えている。 確率的コスト制約の下でLLMカスケードを最適化するための自己教師型フレームワークであるC3POを紹介する。
  論文  参考訳（メタデータ） (2025-11-10T18:50:27Z)
• Agreement-Based Cascading for Efficient Inference [29.378710032811227]
  Agreement-Based Cascading (ABC) は単純で効果的な適応推論手法である。 ABCは、サイズ/複雑さの増大したモデルのカスケードを構築し、データ依存ルーティングの基盤として、カスケードの各レベルにおけるモデルのアンサンブル間の合意を使用する。 ABCは既存のモデルの代替品として確実に機能し、効率と精度の両面で、最高のシングルモデルを上回ることを示しています。
  論文  参考訳（メタデータ） (2024-07-02T15:14:12Z)
• Faster Cascades via Speculative Decoding [66.16909847419198]
  カスケードと投機的復号化は、言語モデルの推論効率を改善するためのアプローチである。 提案手法は,投機的実行による推論規則を実装した新しい投機的カスケード手法である。 我々の手法は、カスケードや投機的復号化ベースラインよりもコスト品質のトレードオフが優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-29T16:55:08Z)
• On Optimal Caching and Model Multiplexing for Large Model Inference [66.50550915522551]
  大きな言語モデル(LLM)や他の大きな基盤モデルは注目すべき成功を収めているが、そのサイズは既存のリソース消費とレイテンシーの問題を悪化させている。 キャッシュを用いて以前のクエリを格納し、モデルの多重化を学習し、クエリ処理のためのモデルの集合から選択する。
  論文  参考訳（メタデータ） (2023-06-03T05:01:51Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。