論文の概要: Response-Informed Value Estimation for Cost-Aware Multi-Turn LLM Routing

• arxiv url: http://arxiv.org/abs/2610.23239v2
• Date: Tue, 20 Oct 2026 03:27:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.22448
• Title: Response-Informed Value Estimation for Cost-Aware Multi-Turn LLM Routing
• Title（参考訳）: コストを考慮したマルチターンLCMルーティングの応答インフォームド値推定
• Abstract要約: RIVET (response-Informed Value Estimation for Turn-Level Routing) RIVETは、トレーニング中のコール後エビデンスを利用して、ルーティングを厳格にデプロイ時にプリコールする。 RIVETは最強のマルチターンベースラインよりも、総コールコストを74.7%削減しながら、ホールドアウトタスクを解決している。
• 参考スコア（独自算出の注目度）: 14.571704263303907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-turn LLM routing selects a model at every turn before its response is available, yet task success is revealed only when the interaction ends, leaving each intermediate choice without a label of its own. Logged trajectories, however, retain the response each call produced, which exposes what each turn required and how well the chosen model served it, evidence that outcomes alone hide. We introduce RIVET (Response-Informed Value Estimation for Turn-Level Routing), which exploits this post-call evidence during training while keeping routing strictly pre-call at deployment. RIVET jointly trains two value estimators over a shared state-model representation: a deployable Routing Value Estimator that scores candidate models from pre-call information, and a training-only Response-Informed Value Estimator that additionally observes the realized response. Conditioning on the response turns response-induced return variation from residual noise into an observed covariate, and we show that this reduces the leading asymptotic estimation error of the shared representation. On the MINT benchmark, RIVET solves more held-out tasks than the strongest multi-turn baseline while using 74.7% less total call cost.
• Abstract（参考訳）: マルチターンLSMルーティングは、応答が利用可能になる前に各ターンでモデルを選択するが、インタラクションが終了するとタスクの成功が明らかになり、それぞれの中間選択がラベルなしで残る。 しかし、ログ付きトラジェクトリは、各呼び出しが生成したレスポンスを保持し、各ターンに必要なもの、選択されたモデルがどれだけうまく提供したか、結果のみが隠されていることを示す。 RIVET(Response-Informed Value Estimation for Turn-Level Routing)を導入します。 RIVETは、共有状態モデル表現に対して2つの値推定器を共同で訓練する: プリコール情報から候補モデルをスコアするデプロイ可能なルーティング値推定器と、さらに実現された応答を観察するトレーニング専用のレスポンスインフォームド値推定器である。 応答の条件付けにより、残留雑音からの応答誘起戻り変化が観測された共変量に変換され、共有表現の漸近的推定誤差が減少することを示す。 MINTベンチマークでは、RIVETは最強のマルチターンベースラインよりも、74.7%の総コールコストを削減しながら、ホールドアウトタスクを解決している。

関連論文リスト

• TRACE: Trajectory Return Attribution and Contrastive Erasure for Multi-Turn Safety [24.920876389236373]
  安全に整合した大規模言語モデル(LLM)は、しばしば有害な要求を拒否するが、同じ目標が複数のターンにまたがると従う。 選好目標は、単一のプロンプトに対する全応答をスコアするので、トレーニングの損失だけでは、目に見えない歴史のリスクをコントロールできない。 我々の分析は、教師付き単一ターンコンテキストにおける抑制が多ターン軌道リスクに束縛される十分な条件を与える。
  論文  参考訳（メタデータ） (2026-10-01T08:49:41Z)
• Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use [54.30773141960395]
  マルチターンインタラクションにおけるトレーニング可能な状態を特定するために、Critical-State RLを導入する。 それぞれの報酬がタスク成功に対するアクションの効果を捉えているかどうか、参照ポリシーよりも改善できるかどうかを評価する。 Berkeley Function Calling Leaderboard (BFCL) v4の実験では、診断選択された州でのトレーニングと代替州でのトレーニングを比較している。
  論文  参考訳（メタデータ） (2026-09-21T17:57:20Z)
• Harnessing Image Question Dependence for Better VLM Test-time Reinforcement Learning [66.13367818892503]
  Vlm 適応性を向上させるために画像探索依存を利用したテスト時強化学習フレームワーク TTIQ を提案する。 TTIQの教師は、元の画像検索ペアとその画像と質問対応のバリエーションの下で、各サンプル応答を強制する。 イメージと質問への依存と信頼を組み合わせることで、共同で接地された応答を好む応答レベルの報酬を構築する。
  論文  参考訳（メタデータ） (2026-09-09T22:54:15Z)
• Verifier-Induced Support Reshaping in On-Policy Optimization [27.782412748608255]
  検証可能な報酬(RLVR)によるオンライン強化学習は、現在の目標を改善できる一方で、後の目標に対する行動の成功は、サンプリングや強化が極めて稀であることを示す。 我々は、この検証者によるサポートの再構築と呼び、有効な報奨支援を、固定されたロールアウト予算内で到達可能な軌道として定義する。
  論文  参考訳（メタデータ） (2026-07-31T19:05:43Z)
• Escaping the Mode Lottery: Multi-Response Training Improves Language Model Generalization [14.039980020878815]
  現代の言語モデルファインチューニングペアは、多くのプロンプトが複数の有効な完了を認めているにもかかわらず、それぞれ1つの応答でプロンプトを発行する。 これにより、マルチモーダルな条件分布をワンサンプルビューに効果的に還元し、トレーニングは可塑性モードのサブセットを強調する。 マルチレスポンス・トレーニング(MRT)について検討し、各プロンプト毎に複数の応答を保ちながら、いつ、なぜそれが役立つのかを原則的に説明する。
  論文  参考訳（メタデータ） (2026-05-30T05:30:39Z)
• Thinking Forward and Backward: Multi-Objective Reinforcement Learning for Retrieval-Augmented Reasoning [137.33138614095435]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルにおける幻覚の緩和に有効であることが証明されている。 近年、検索に基づく対話をRAGに組み込んで、リアルタイム検索による反復推論を可能にしている。 提案するBi-RARは,各中間ステップを前方方向と後方方向の両方で共同で評価する,新たな検索拡張推論フレームワークである。
  論文  参考訳（メタデータ） (2025-11-12T08:29:39Z)
• Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs [69.2486294522259]
  BaRPはBandit Routing-feedback with Preferencesアプローチであり、デプロイと同じ部分フィードバック制限の下でトレーニングされる。 提案手法は,学習中のオンラインフィードバック設定をシミュレートし,新たなプロンプトに適応する。
  論文  参考訳（メタデータ） (2025-10-08T18:24:59Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• A Generalised and Adaptable Reinforcement Learning Stopping Method [9.335384756718867]
  本稿では、強化学習(RL)に基づく技術支援レビュー(TAR)停止手法を提案する。 以前のアプローチでは、リコールやコストの最大化のために、ターゲットリコールとトレードオフの修正など、動作の停止を限定的に制御していた。 これらの制限は、単一のモデルを複数のターゲットリコールに適用できる新しいRL環境であるGRLStopを導入することで克服される。
  論文  参考訳（メタデータ） (2025-05-03T19:24:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。