論文の概要: On the Clock: Towards Punctual and Productive Time-Budgeted AI Agents

• arxiv url: http://arxiv.org/abs/2610.10833v1
• Date: Wed, 07 Oct 2026 19:35:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.644118
• Title: On the Clock: Towards Punctual and Productive Time-Budgeted AI Agents
• Title（参考訳）: 時計について--時間的・生産的なAIエージェントを目指して
• Abstract要約: 本研究では,LLMエージェントが壁面時間予算で効果的に動作可能であるかを検討した。 最も単純な設定では、予算がプロンプトでのみ記述される場合、エージェントは、指定された予算を時間の制御された使用に翻訳することができない。 本稿では,時間情報を公開して期限を強制するハーネスベースのメカニズムと,予算に配慮した報酬による強化学習の2つの補助的介入のクラスについて検討する。
• 参考スコア（独自算出の注目度）: 41.13484955563098
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We study whether small LLM agents can operate effectively under explicit wall-clock time budgets by both respecting the allocated runtime and using available time productively. We evaluate Qwen3.6-27B on five competitions from MLE-Bench Lite and Qwen3-4B on Zork I (Jericho), two agentic benchmarks where additional computational time can meaningfully improve performance. In the simplest setting, where the budget is stated only in the prompt, agents fail to translate the stated budget into controlled use of time. These failures arise from gaps in time awareness, since the harness provides no timing feedback, but also because they cannot reliably anticipate the duration of actions, and do not have a learned mapping from available time to an appropriate strategy. We investigate two complementary classes of interventions: harness-based mechanisms that expose timing information and enforce deadlines, and reinforcement learning with budget-aware rewards. Injecting timing information through the harness substantially improves budget adherence for Qwen3.6-27B without measurable loss in performance, while enforcement hooks tighten adherence further. RL with GRPO achieves near-perfect budget adherence on Zork I and generalizes to held-out budgets not seen during training, but does not improve task performance over the untrained harness on MLE-Bench. Once agents are made to respect the budget, they still fail to use additional time to improve task performance. RL-trained policies learn when to stop but often fill extra time with repeated actions, and GRPO training on multiple budgets tends to collapse toward the strategy learned for the shortest budget. Our results reveal a gap between time adherence and productive time allocation, which remains a central challenge for budget-conditioned agents.
• Abstract（参考訳）: 我々は、割り当てられたランタイムを尊重し、利用可能な時間の両方を生産的に利用することにより、小さなLCMエージェントが壁面時間予算の下で効果的に動作できるかどうかを検討する。 我々は,MLE-Bench Lite と Zork I (Jericho) の Qwen3.6-27B の5つの競合に対して Qwen3.6-27B を評価する。 最も単純な設定では、予算がプロンプトでのみ記述される場合、エージェントは、指定された予算を時間の制御された使用に翻訳することができない。 これらの失敗は、ハーネスがタイミングフィードバックを提供するのではなく、アクションの持続時間を確実に予測することができず、利用可能な時間から適切な戦略への学習されたマッピングがないため、時間意識のギャップから生じます。 本稿では,時間情報を公開して期限を強制するハーネスベースのメカニズムと,予算に配慮した報酬による強化学習の2つの補助的介入のクラスについて検討する。 ハーネスを介してタイミング情報を注入することで、Qwen3.6〜27Bの予算順守を大幅に改善でき、また、強制フックはより厳格になる。 GRPO を用いた RL は,Zork I のほぼ完全な予算順守を実現し,訓練中に見ることのない保留予算に一般化するが,MLE-Bench の未訓練ハーネスよりも作業性能は向上しない。 一度エージェントが予算を尊重すると、彼らはタスクパフォーマンスを改善するために追加の時間を使うことができなくなります。 RLで訓練された政策はいつ停止するかを学習するが、繰り返し行われる行動で余分な時間を埋めることが多く、GRPOの複数の予算での訓練は、最短予算で学んだ戦略に向かって崩壊する傾向にある。 この結果から, 時間順守と生産時間割当のギャップが明らかとなり, 予算条件のエージェントにとって依然として中心的な課題となっている。

関連論文リスト

• One Policy, Any Budget: Internalizing Budget-Aware Search via Reinforcement Learning [41.55260785497756]
  我々は,予算制約下での予算対応検索を単一ポリシーで行えるフレームワークであるAnySearchを提案する。 第1フェーズでは、明確な予算状態注入と構造化推論プロンプトでエージェントを訓練する。 第2段階では、足場を除去し、エージェントは適応的にサンプル化された予算制約の下で自律的に操作することを学ぶ。
  論文  参考訳（メタデータ） (2026-09-01T07:12:32Z)
• AdaTurn: Budget-Aware Test-Time Scaling for Active Visual Perception Agents [43.827500763103586]
  AdaTurnは、ビジュアルエージェントトレーニングのための予算対応フレームワークである。 FA−DAPOは、過予算イベントをトレーニング可能な最終決定ステップに変換する。 例えば、4ターンでVisualProbe-Mediumを36.7%から47.6%に引き上げるなどである。
  論文  参考訳（メタデータ） (2026-07-16T04:07:22Z)
• TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training [52.6661804966136]
  オンライン蒸留(英語版) (OPD) は、生徒自身の軌道上の強い教師と一致することによって、生徒の政策を訓練する。 本研究では, 長期化剤の高効率蒸留のためのターンレベルの予算化戦略であるTurnOPDを提案する。
  論文  参考訳（メタデータ） (2026-07-07T03:56:35Z)
• DUET: Optimize Token-Budget Allocation for Reinforcement Learning with Verifiable Rewards [37.28110997883518]
  検証可能な報酬による強化学習は、トレーニングステップ毎に数十万のトークンを生成します。 共有計算予算下での両決定を共同で調整することで,推論品質とウォールクロックトレーニング時間の両方が向上することを示す。
  論文  参考訳（メタデータ） (2026-05-08T20:03:19Z)
• Inference-Time Budget Control for LLM Search Agents [21.14983754890843]
  マルチホップ質問応答(QA)の問題を2段階の推論時間予算制御として定式化する。 検索時には,各実行可能なアクションに対して,タスクレベルの値情報(VOI)スコアを割り当てる。 探索後、選択的エビデンスグラウンドのファイナライザは、軌道解答を洗練された候補と比較し、残差エラーが低リスクな解形式エラーであるように見える場合にのみ書き換える。
  論文  参考訳（メタデータ） (2026-05-07T05:45:58Z)
• Train Long, Think Short: Curriculum Learning for Efficient Reasoning [51.506559652495476]
  長さ制御推論のためのカリキュラム学習戦略を提案する。 当社の手法は寛大なトークン予算から始まり、トレーニングをしながら徐々に厳格化します。 GSM8K、MATH500、SVAMP、College Math、GSM+の実験は、カリキュラムベースのトレーニングが固定予算ベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2025-08-12T13:48:03Z)
• No-Regret Learning Under Adversarial Resource Constraints: A Spending Plan Is All You Need! [56.80767500991973]
  アクション選択の前に報酬とコストが観測される$(i)$オンラインリソース割当と、アクション選択後、完全なフィードバックや盗賊フィードバックの下で、リソース制限付きオンライン学習である$(ii)$オンラインリソース割当に焦点を当てた。 報酬とコスト分布が時間とともに任意に変化する場合、これらの設定でサブ線形後悔を達成することは不可能であることが知られている。 我々は、支出計画に従う基準線に対する半線形後悔を実現する一般的な(基本的)二重的手法を設計し、また、支出計画が予算のバランスの取れた配分を保証すると、アルゴリズムの性能が向上する。
  論文  参考訳（メタデータ） (2025-06-16T08:42:31Z)
• Self-Regulation and Requesting Interventions [63.5863047447313]
  介入要求のための"helper"ポリシーをトレーニングするオフラインフレームワークを提案する。 PRMによる最適介入タイミングを判定し,これらのラベル付き軌道上でヘルパーモデルを訓練する。 このオフラインアプローチは、トレーニング中のコストのかかる介入コールを大幅に削減する。
  論文  参考訳（メタデータ） (2025-02-07T00:06:17Z)
• Enhancing Adaptive Mixed-Criticality Scheduling with Deep Reinforcement Learning [0.0]
  我々は,Deep-Q Networkに基づく深層強化学習(DRL)アプローチにより,適応混合臨界(AMC)を強化した。 DRLエージェントはオフラインで訓練され、実行時に予算超過を避けるためにタスクの低臨界度予算を調整する。 その結果、各タスクの予算が実行時間分布のサンプリングに基づいて選択された場合でも、エージェントは予算オーバーランを少なくとも50%削減できることがわかった。
  論文  参考訳（メタデータ） (2024-11-01T13:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。