論文の概要: EnvSched: Environment-Aware Scheduling for Rollout-Efficient Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.37609v1
• Date: Tue, 27 Oct 2026 17:38:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.735593
• Title: EnvSched: Environment-Aware Scheduling for Rollout-Efficient Agent Reinforcement Learning
• Title（参考訳）: EnvSched: ロールアウト効率の良いエージェント強化学習のための環境対応スケジューリング
• Abstract要約: 本稿では,ロールアウト履歴から学習するオンラインスケジューラであるEnvSched(Environment-aware Scheduling)を紹介する。 Qwen3-8BのRLでは、40ステップの後にBFCL-v3、tau-Bench、ACEBench-Agentの平均スコアが48.81に達する。 また、同じトレーニング予算でモデルサイズのダウンストリームのパフォーマンスも向上する。
• 参考スコア（独自算出の注目度）: 56.6497820000254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As executable environments for language agents scale, generating and verifying their rollouts becomes increasingly expensive. Under finite rollout budgets, this raises an important question: can data management at the environment level make agentic reinforcement learning (RL) more efficient by organizing, evaluating, and scheduling task instances together with the environments that determine their tools, states, transitions, and verification? To address this question, we introduce EnvSched (Environment-aware Scheduling), an online scheduler that learns from rollout history. EnvSched assigns scheduling value through two complementary modeling choices: exploitation prioritizes tasks likely to provide informative reward differences, while coverage spreads each batch across underobserved environments and interaction patterns. EnvSched organizes environment--task pairs as nodes in a dual-relation graph, with within-environment edges capturing task semantics and shared tool, state, and verifier structure, and cross-environment edges capturing abstract execution and reward topology. By propagating historical rollout statistics along both edge types, it predicts within-task reward variance. These predictions guide a scheduler that allocates each batch to tasks with high predicted reward variance and underobserved environments and tasks. Environment quotas and a similarity penalty further limit concentration and redundancy, yielding informative and diverse batches without additional pilot rollouts. In RL on Qwen3-8B, EnvSched achieves an average score of 48.81 across BFCL-v3, tau-Bench, and ACEBench-Agent after 40 training steps, exceeding the highest score attained by random task selection after 120 steps. It also improves downstream performance across model sizes at the same training budget.
• Abstract（参考訳）: 言語エージェントの実行可能な環境がスケールするにつれて、ロールアウトの生成と検証がますます高価になる。 有限のロールアウト予算の下で、これは重要な疑問を提起する: 環境レベルのデータ管理は、彼らのツール、状態、遷移、検証を決定する環境と一緒にタスクインスタンスを編成、評価、スケジューリングすることで、エージェント強化学習(RL)をより効率的にすることができるか? 本稿では,ロールアウト履歴から学習するオンラインスケジューラであるEnvSched (Environment-aware Scheduling)を紹介する。 EnvSchedは2つの相補的なモデリング選択を通じてスケジューリング値を割り当てている。 EnvSchedは、タスクセマンティクスと共有ツール、状態、検証構造をキャプチャする環境内エッジ、抽象的な実行と報酬トポロジをキャプチャする環境横断エッジを備えた、二重関係グラフのノードとして環境-タスクペアを編成する。 両方のエッジタイプに沿って歴史的ロールアウト統計を伝搬することにより、タスク内報酬の分散を予測する。 これらの予測はスケジューラをガイドし、各バッチを高い予測された報酬分散と未観測の環境とタスクでタスクに割り当てる。 環境基準と類似性のペナルティは、さらに濃度と冗長性を制限し、追加のパイロットロールアウトなしで情報的かつ多様なバッチを生成する。 Qwen3-8BのRLでは、120ステップの後にランダムタスク選択によって達成された最高スコアを超え、BFCL-v3、tau-Bench、ACEBench-Agentの平均スコアは48.81である。 また、同じトレーニング予算でモデルサイズのダウンストリームのパフォーマンスも向上する。

関連論文リスト

• EnvLunch: The Environment as a Free Lunch for Learning to Interact [25.032515724116962]
  エージェントデータ分析では、言語モデルエージェントは、実行可能な環境と効果的に対話する方法を学ぶために、多くの注釈付きタスクを必要とすることが多い。 本研究では,環境信号を人間記述やモデル生成のタスク記述なしにエージェント訓練に変換する温暖化段階であるEnvLunchを提案する。
  論文  参考訳（メタデータ） (2026-10-24T17:29:24Z)
• Cloud Workflow Scheduling Based on Graph Attention-Driven Hierarchical Reinforcement Learning [10.978371228753518]
  本稿では,GA-HRL(Graph Attention-Driven Reinforcement Learning)フレームワークとモデルスケジューリングプロセスを開発する。 タスク実行速度、配置に依存した通信、タスクとコンテナの決定の結合に対処しながら、納期満足度、コンテナ利用、エネルギー消費のバランスを取る。 2018年のAlibabaクラスタトレースの実験によると、GA-HRLは競争力のあるワークフローの成功率を維持しており、成功率が同等な環境では、コンテナの利用率の向上とエネルギー消費量の削減を実現している。
  論文  参考訳（メタデータ） (2026-09-14T02:50:40Z)
• RoboAgent: Chaining Basic Capabilities for Embodied Task Planning [46.248451288196435]
  本稿では,エージェントが環境から視覚的観察を取得し,与えられたタスクを達成するためのアトミックアクションを実行する,具体的タスク計画に焦点を当てる。 本稿では,機能駆動型計画パイプラインであるRoboAgentを提案する。 我々は,(1)専門家プランによる行動クローニング,(2)モデルで収集した軌跡を用いたDAggerトレーニング,(3)専門家ポリシーによる強化学習からなる多段階的パラダイムを用いている。
  論文  参考訳（メタデータ） (2026-04-09T04:01:27Z)
• Spatial Reasoning and Planning for Deep Embodied Agents [2.7195102129095003]
  この論文は空間的推論と計画タスクのためのデータ駆動手法の開発を探求する。 学習効率、解釈可能性、新しいシナリオ間の伝達可能性の向上に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-28T23:05:56Z)
• Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
  本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。 アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。 我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-30T12:32:43Z)
• Low Resource Multi-Task Sequence Tagging -- Revisiting Dynamic Conditional Random Fields [67.51177964010967]
  異なるタスクに対するラベルシーケンス間の依存関係を利用する低リソースマルチタスクシーケンスタグの異なるモデルを比較した。 タスク予測間の相互依存性の明示的モデリングは、通常のマルチタスクモデルと同様にシングルタスクよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-01T07:11:34Z)
• Unshuffling Data for Improved Generalization [65.57124325257409]
  トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。 本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
  論文  参考訳（メタデータ） (2020-02-27T03:07:41Z)
• Hierarchical Reinforcement Learning as a Model of Human Task Interleaving [60.95424607008241]
  我々は、強化学習によって駆動される監督制御の階層モデルを開発する。 このモデルは、タスクインターリービングの既知の経験的効果を再現する。 その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
  論文  参考訳（メタデータ） (2020-01-04T17:53:28Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。