論文の概要: Not All Tokens Are Equal: Inflation-Aware Routing for Agentic LLM Systems

• arxiv url: http://arxiv.org/abs/2608.13571v1
• Date: Thu, 02 Jul 2026 19:59:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.200454
• Title: Not All Tokens Are Equal: Inflation-Aware Routing for Agentic LLM Systems
• Title（参考訳）: すべてのトークンが等しくはない:エージェントLLMシステムのためのインフレ対応ルーティング
• Abstract要約: InflationAgentは、マルチホップ質問に対する7Bモデルで最大4.25倍のインフレが見込まれている。 固定予算のGSM8Kでは、InflationAgentはFrugalGPTの91.0%に対して94.7%の精度を達成し、トークンは31%少ない。
• 参考スコア（独自算出の注目度）: 31.46350070442308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a language model fails to answer a query on the first attempt, an agentic system retries, consuming additional tokens each time. This retry overhead creates a gap between what a model's per-token price implies and what a full workflow actually costs. We call this gap \emph{token inflation} and define it as the ratio of true workflow cost to single-call cost. Systems like FrugalGPT route based on the latter, which can underestimate real cost by more than $2\times$ on difficult tasks. We address this with InflationAgent, a four-stage router that (1) measures token inflation systematically across model tiers and task types, finding inflation as high as $4.25\times$ for a 7B model on multi-hop question answering; (2) introduces CoT Branching Entropy (CBE), a pre-execution difficulty signal computed entirely from local inference, which predicts high inflation with AUROC 0.887; and (3) selects models by maximizing a Semantic Exchange Rate (SER) that divides expected accuracy by predicted true cost, with a fresh-escalation policy that discards failed chains before routing to a stronger model. On GSM8K under a fixed budget, InflationAgent achieves 94.7\% accuracy versus 91.0\% for FrugalGPT while using 31\% fewer tokens, and we show that forwarding a failed reasoning chain to GPT-4o reduces its accuracy by up to 34.8 percentage points, validating the fresh-escalation design.
• Abstract（参考訳）: 最初の試みで言語モデルがクエリに答えられなかった場合、エージェントシステムは再試行し、毎回追加トークンを消費する。 このリトライオーバーヘッドは、モデル毎の価格が意味するものと、ワークフロー全体のコストとの間にギャップを生じさせます。 私たちはこのギャップを"emph{token inflation}"と呼び、真のワークフローコストと単一呼び出しコストの比率として定義します。 後者をベースとしたFrugalGPTルートのようなシステムは、難しいタスクで2ドル以上の実際のコストを過小評価することができる。 InflationAgentは、(1)モデル層とタスクタイプ間でトークンのインフレーションを体系的に測定し、最大4.25\times$のインフレーションをマルチホップ質問応答の7Bモデルに適用する。(2)CoTブランチエントロピー(CBE)を導入し、AUROC 0.887で高インフレーションを予測するローカル推論から計算された事前実行困難信号を導入し、(3)予測真コストで予測精度を分割するセマンティック取引レート(SER)を最大化してモデルを選択する。 固定予算下でのGSM8Kにおいて、InflationAgentは、FrugalGPTの91.0\%に対して、トークンを31\%削減しながら94.7\%の精度を実現し、GPT-4oに失敗した推論チェーンを転送することで、その精度を最大34.8ポイント削減し、新しいエスカレーション設計を検証した。

関連論文リスト

• Total Cost of Agency: Exact Attribution of Memory Injection Cost in Multi-Agent LLM Workflows [0.8770825039504507]
  マルチエージェントワークフローのコストをプロンプト、推論、メモリインジェクション、ミスペナルティ、コンテキスト蓄積コンポーネントに分解する。 ワードカウントプロキシからトークンを推定するのではなく、直接トークンを注入する。
  論文  参考訳（メタデータ） (2026-09-20T18:23:47Z)
• Lossless but Not Free: An Empirical Anatomy of Speculative Decoding on Consumer Hardware [0.0]
  大規模言語モデルのシングルストリーム自動回帰復号化は、メモリ帯域幅によって制限される。 小さなドラフトモデルは、自動回帰的に$K$トークンを提案し、ターゲットモデルは、これらすべてを1回のバッチパスでスコアする。 本稿では、CUDA/MPS/CPUの実装と、5つのドラフト/ターゲットバックエンド構成に関する実証的研究を紹介する。
  論文  参考訳（メタデータ） (2026-07-19T15:01:35Z)
• The Harness Effect: How Orchestration Design Sets the Token Economics of Enterprise Agentic AI [8.387065289628376]
  今日のエージェントAI開発はトークンの最大化で動作する。 単価の下落はパターンを覆しており、いずれにせよ総支出は増加する。 我々はトークンの最大化に対する決定的なレバーがハーネスであると主張している。
  論文  参考訳（メタデータ） (2026-07-08T01:58:12Z)
• Inverting the Bellman Equation: From $Q$-Values to World Models [57.827849584133425]
  我々は、十分に豊富な報酬関数のセットで訓練された価値に基づくエージェントが、ユニークで正確な世界モデルを暗黙的にエンコードしていることを証明した。 ttReacherエージェントの暗黙の世界モデルにのみ訓練されたポリシーは、位置のみのトレーニングにもかかわらず、分布外、速度に基づく目標に準最適であることがわかった。
  論文  参考訳（メタデータ） (2026-06-19T07:26:14Z)
• EST-PRM: Stress-Testing Process Reward Models Before They Become Load-Bearing [6.324418485299426]
  プロセス報酬モデル(PRM)は、ステップレベルの厳密な監督を伴う言語モデルトレーニングで広く使用されている。 この仮定は十分に検証されていないと我々は主張する。 我々は,高密度プロセス報酬のためのストレステストフレームワークである textbfEST-PRM を紹介する。
  論文  参考訳（メタデータ） (2026-05-30T00:05:14Z)
• SpecKV: Adaptive Speculative Decoding with Compression-Aware Gamma Selection [0.0]
  SpecKVは軽量適応型コントローラで、ドラフトモデル自体から抽出した信号を使って投機1歩あたり$を選択できる。 圧縮レジーム間の最適な$$シフトと、ドラフトモデルの信頼性とエントロピーが受容率の強い予測因子であることを実証する。
  論文  参考訳（メタデータ） (2026-05-04T17:55:05Z)
• The Price Reversal Phenomenon: When Cheaper Reasoning Models End Up Costing More [76.93600828673503]
  リストAPIの価格設定は、実際のコストに対する信頼性の低いプロキシである。 思考トークンのコストの削減は、ランキングの反転を70%削減します。 この結果から,コスト意識モデル選択と透過的な要求毎のコスト監視の必要性が示唆された。
  論文  参考訳（メタデータ） (2026-03-25T06:07:39Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• Simple ReFlow: Improved Techniques for Fast Flow Models [68.32300636049008]
  拡散および流れマッチングモデルは、優れた生成性能を実現するが、多くのサンプリングステップを犠牲にしている。 我々は、力学、学習、推論のトレーニングに7つの改善点を提案する。 我々は、ニューラルネットワークによる高速な生成のために、最先端のFIDスコア(ガイダンスなし/参照なし)を達成している。
  論文  参考訳（メタデータ） (2024-10-10T11:00:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。