論文の概要: Rewards for Budget-Aware Multi-Turn Agents That Adapt to Arbitrary Test-Time Constraints

• arxiv url: http://arxiv.org/abs/2610.28409v1
• Date: Tue, 20 Oct 2026 15:49:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.894457
• Title: Rewards for Budget-Aware Multi-Turn Agents That Adapt to Arbitrary Test-Time Constraints
• Title（参考訳）: 任意試験時間制約に適応した予算対応型マルチTurnエージェントのリワード
• Abstract要約: Qwen3.5モデルはトークンやAPIコール,環境ステップといった予算で,BabyAIグリッドワールドではターン予算でトレーニングしています。 一つのエージェントが、外部の予算配分コントローラを使わずに、各ターンにリソースを割り当て、その振る舞いを予算フィードバックを用いてユーザ指定の予算に適応させることができることを示す。
• 参考スコア（独自算出の注目度）: 9.068441429683121
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model agents are often given an inference budget and asked to maximise success within it. A multi-turn agent has to allocate this budget across many environment interactions. An external harness can enforce the budget, but it remains unclear whether the agent itself can learn when and how much to spend. We ask whether agents can learn this allocation across dynamically specified budgets and which rewards best teach this behaviour. We adapt existing length penalties to budget constraints spanning multiple resource types, introduce new reward formulations, and compare eleven objectives in a shared training pipeline. We train Qwen3.5 models at 4B and 9B on AppWorld with budgets over tokens, API calls, and environment steps, and on the BabyAI gridworld with turn budgets. We train a separate policy for each environment and resource type, with each policy trained across budget values. Training with rewards that penalise overspending substantially improves within-budget success and natural compliance over untrained models and over training on task success alone, with agents learning to adapt their resource use to stated budgets and task difficulty. These gains extend to unseen budgets and, zero-shot, to a shifted task distribution and a new benchmark. Reward objectives trade off success within budget and natural compliance. A sigmoid penalty for overspending most often achieves the highest within-budget success at an individual budget, while a fixed negative reward for overspending generally yields the strongest natural compliance. Combining penalties for overspend frequency and magnitude gives the smallest average gap to the best method at each budget. Overall, we show that a single agent can learn to allocate resources across turns and adapt its behaviour to user-specified budgets using budget feedback without external budget-allocation controllers.
• Abstract（参考訳）: 大規模な言語モデルエージェントは、しばしば推論予算が与えられ、その内の成功を最大化するよう要求される。 マルチターンエージェントは、多くの環境相互作用にこの予算を割り当てなければならない。 外部のハーネスは予算を強制することができるが、エージェント自体がいつ、どのくらいの費用を学べるかは不明だ。 エージェントが動的に指定された予算でこの割り当てを学習できるか、どの報酬がこの振る舞いを最もよく教えるかを問う。 既存の長さのペナルティを、複数のリソースタイプにまたがる予算制約に適応させ、新しい報酬の定式化を導入し、共有トレーニングパイプラインにおける11の目標を比較します。 AppWorldの4Bと9BでQwen3.5モデルをトレーニングし、トークン、API呼び出し、環境ステップに対する予算と、ターン予算によるBabyAIグリッドワールドでトレーニングしています。 私たちは、各環境とリソースタイプごとに別々のポリシーをトレーニングします。 過度に罰則を課す報酬による訓練は、未訓練のモデルに対する予算内の成功と自然なコンプライアンスを大幅に改善し、未訓練のモデルに対する訓練を単独で行い、エージェントは予算や課題の難しさにリソースの使用を適応させることを学ぶ。 これらの利益は、見当たらない予算、ゼロショット、シフトしたタスク分散と新しいベンチマークにまで及ぶ。 リワードの目標は、予算内での成功と自然なコンプライアンスをトレードオフする。 過払いに対するシグモイドのペナルティは、個々の予算において最も高い予算内での成功を達成し、一方、過払いに対する負の報酬は一般的に最も強い自然コンプライアンスをもたらす。 過度な頻度とマグニチュードに対する罰則を組み合わせることで、各予算における最良の方法に対する最小の平均ギャップが得られる。 全体として、単一のエージェントが、外部の予算配分コントローラを使わずに、各ターンにリソースを割り当て、その振る舞いをユーザ指定の予算に適応させることを学習できることが示される。

関連論文リスト

• One Policy, Any Budget: Internalizing Budget-Aware Search via Reinforcement Learning [41.55260785497756]
  我々は,予算制約下での予算対応検索を単一ポリシーで行えるフレームワークであるAnySearchを提案する。 第1フェーズでは、明確な予算状態注入と構造化推論プロンプトでエージェントを訓練する。 第2段階では、足場を除去し、エージェントは適応的にサンプル化された予算制約の下で自律的に操作することを学ぶ。
  論文  参考訳（メタデータ） (2026-09-01T07:12:32Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Knapsack RL: Unlocking Exploration of LLMs via Optimizing Budget Allocation [40.30643197563909]
  大規模言語モデル(LLM)は強化学習を通じて自己改善が可能で、より良いソリューションを探求し発見するための軌道を生成する。 この探索プロセスは計算コストが高く、しばしば現在の手法では各タスクに限られた探査予算を割り当てざるを得ない。 本稿では,モデルの現在の学習状況に基づいて資源を適応的に分配する最適割当てルールを提案する。
  論文  参考訳（メタデータ） (2025-09-30T06:41:57Z)
• No-Regret Learning Under Adversarial Resource Constraints: A Spending Plan Is All You Need! [56.80767500991973]
  アクション選択の前に報酬とコストが観測される$(i)$オンラインリソース割当と、アクション選択後、完全なフィードバックや盗賊フィードバックの下で、リソース制限付きオンライン学習である$(ii)$オンラインリソース割当に焦点を当てた。 報酬とコスト分布が時間とともに任意に変化する場合、これらの設定でサブ線形後悔を達成することは不可能であることが知られている。 我々は、支出計画に従う基準線に対する半線形後悔を実現する一般的な(基本的)二重的手法を設計し、また、支出計画が予算のバランスの取れた配分を保証すると、アルゴリズムの性能が向上する。
  論文  参考訳（メタデータ） (2025-06-16T08:42:31Z)
• Robust and Performance Incentivizing Algorithms for Multi-Armed Bandits with Strategic Agents [52.75161794035767]
  性能インセンティブとロバストネスの2つの目的を同時に満たすバンディットアルゴリズムのクラスを導入する。 そこで本研究では,第2価格オークションのアイデアをアルゴリズムと組み合わせることで,プリンシパルが腕の性能特性に関する情報を持たないような設定が可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-13T06:54:49Z)
• Label Budget Allocation in Multi-Task Learning [61.12008399759143]
  マルチタスク学習では、関連するタスクが互いに情報を提供し、全体的なパフォーマンスを改善する。 最適なマルチタスクパフォーマンスを実現するために,ラベル予算をさまざまなタスクに割り当てるには,どうすればよいのか? 我々は,マルチタスク学習において,ラベル予算配分問題を初めて提案し,正式に定義する。
  論文  参考訳（メタデータ） (2023-08-24T17:38:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。