論文の概要: Measure First, Then Allocate: Calibrated Rollout Budgets for MCP Agents in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.28785v1
• Date: Tue, 20 Oct 2026 18:15:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.212309
• Title: Measure First, Then Allocate: Calibrated Rollout Budgets for MCP Agents in Reinforcement Learning
• Title（参考訳）: 強化学習におけるMPPエージェントのキャリブレーション型ロールアウト予算をまず測定し,次にアロケートする
• Abstract要約: ツールを使用する言語モデルのトレーニングには、コストのかかるインタラクションが必要だが、ロールアウトグループ内の同じ報酬は、グループ関係の学習信号を提供しない。 我々は、モデルコンテキストプロトコル(MCP)環境におけるポリシートレーニングのためのハーネス評価とロールアウトの割り当てを誘導するために報酬不一致を使用する。
• 参考スコア（独自算出の注目度）: 12.282704767709811
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Training tool-using language models requires costly interaction, yet identical rewards within a rollout group provide no group-relative learning signal. We use reward disagreement to guide harness evaluation and the allocation of rollouts for policy training in Model Context Protocol (MCP) environments. We first introduce Discord, which tests harness edits using exact paired inference and decision-preserving early stopping: only disagreeing paired outcomes favor one harness over another. This insight motivates prospective allocation in BRACE (Bank-calibrated Rollout Allocation under Correlated Episodes). BRACE combines historical task evidence, uncertainty in task success rates, and a correlated reward model to forecast mixed-reward groups before allocating generation budget. Controlled harness experiments favor Discord, while live MCP experiments expose a retention-cost trade-off. At three Qwen3-VL model scales, BRACE exceeds the strongest plotted baseline peaks with fewer new training rollouts; historical-bank collection is counted separately. It also leads the compared methods on BFCL and NESTFUL without further training. Ablations probe the bank, estimator, and allocation score; prospective evaluation checks forecast calibration. These results support forecasting reward contrast before generation.
• Abstract（参考訳）: ツールを使用する言語モデルのトレーニングには、コストのかかるインタラクションが必要だが、ロールアウトグループ内の同じ報酬は、グループ関係の学習信号を提供しない。 我々は、モデルコンテキストプロトコル(MCP)環境におけるポリシートレーニングのためのハーネス評価とロールアウトの割り当てを誘導するために報酬不一致を使用する。 最初にDiscordを紹介します。このテストでは、正確なペア推論と決定保存早期停止を使用して、編集を活用する。 この洞察はBRACE (Bank-calibrated Rollout Allocation under Correlated Episodes)における将来的なアロケーションの動機となっている。 BRACEは、過去のタスクエビデンス、タスク成功率の不確実性、および関連する報酬モデルを組み合わせて、世代予算を割り当てる前に混合リワードグループを予測する。 制御されたハーネス実験はDiscordを好んでおり、ライブMCP実験は維持コストのトレードオフを露呈している。 3つのQwen3-VLモデルスケールでBRACEは最強のベースラインピークを越え、新たなトレーニングロールアウトを減らした。 また、BFCLとNESTFULの比較手法を更なる訓練なしで導く。 アブレーションは、銀行、推定器、アロケーションスコアを調査し、予測評価は予測キャリブレーションをチェックする。 これらの結果は、世代前の報酬コントラストの予測を支援する。

関連論文リスト

• Policy-Adaptive Credit Assignment for Spatial Reasoning with Verifiable Rewards [4.791233143264229]
  本研究では,SpatialTraceがサポートする適応型プロセス・リワードフレームワークであるCALIPERを提案する。 CALIPERは、段階的参照カバレッジとグループ内リッジ回帰による回答正解の関係を共同で推定する。 解答識別グループが少ない場合、ユーティリティ推定は信頼性が低いため、クローズドループハーネスは、チェックポイントロールバック、ロールアウト多様化、早期停止を誘導するための推定器の信頼性と検証性能を監視する。
  論文  参考訳（メタデータ） (2026-10-19T13:45:42Z)
• AlphaBet: Reinforcement Learning for LLM Event Forecasting Agents [23.525762009968066]
  AlphaBetは、1つのLarge Language Model(LLM)ポリシーをトレーニングし、複数の事前解決日をまたいで確率を検索、推論、レポートするフレームワークである。 各日時予測は、最終的な結果に対する適切なスコアリングルールによってスコアされ、1つの解決されたイベントが異なる情報状態の下で決定を監督することを可能にする。 実験の結果,GRPOの正規化は固有スコアル性能を低下させるが,最上位の出力精度はほとんど変化しないことがわかった。
  論文  参考訳（メタデータ） (2026-10-15T21:54:31Z)
• JockeyBench: Evaluating LLM Agents on Horse-Racing Decision-Making [51.28684419852576]
  繰り返し発生する事象予測には、ノイズのある証拠から予測信号を抽出する必要がある。 本稿では,歴史的競馬を通じてこの問題を研究するベンチマークおよび評価プロトコルであるJockeyBenchを紹介する。
  論文  参考訳（メタデータ） (2026-10-14T04:59:45Z)
• $T^5$: Twin-Critic Training for Token-Level Thoughts in Reinforcement Mid-Training [38.44142588468548]
  既存のグループ相対法では、コストがかかる。 単一生成軌道からトークンレベルの利点を校正するツインクリティカルな方法であるtfourを提案する。 実験の結果、最先端の批判のない手法と比較して、tfourは平均ベンチマーク性能を7.8%改善し、平均トレーニングステップ時間を63.4%削減した。
  論文  参考訳（メタデータ） (2026-09-26T17:07:57Z)
• Between-User Collapse Under Popularity-Biased Feedback: A Centered-Covariance Theorem and Computable Phase Boundary [0.0]
  我々は,人気度の高いBPRトレーニングが,協調フィルタリング埋め込みのユーザ間幾何学にどう影響するかを考察する。 定常アイテムによる人気バイアスのあるフィードバックの下では、$C$は安定した状態に収束する。 次に、その効果の限界について検討する。
  論文  参考訳（メタデータ） (2026-08-03T17:33:25Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
  ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
  論文  参考訳（メタデータ） (2025-12-01T09:44:31Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。