論文の概要: EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.06197v1
• Date: Thu, 06 Aug 2026 15:54:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.786818
• Title: EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning
• Title（参考訳）: EnvACE: エージェント強化学習のための世界リハーサルによる環境ダイナミクスの内在化
• Abstract要約: 長期ツール使用のための大規模言語モデルエージェントの訓練は、通常、実または合成可能な環境との相互作用に依存する。 本研究では,世界リハーサルのトレーニング中に外部環境の相互作用を置き換えるエージェント強化学習手法であるEnvACEを紹介する。
• 参考スコア（独自算出の注目度）: 57.312638079204255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training large language model agents for long-horizon tool use typically relies on interactions with real or synthesized executable environments, whose construction and verification are costly, or on external simulators that are difficult to ground. We introduce EnvACE, an agentic reinforcement learning method that replaces external environment interaction during training with world rehearsal. The policy alternates between acting and rehearsal: it first generates a tool call, then plays the role of the environment to produce the response induced by that action, and conditions subsequent decisions on the rehearsed response. Both roles are jointly optimized end-to-end using task-success rewards. Through world rehearsal, the policy internalizes the relationship between actions and their environment responses in its parameters, yielding an agent world model that directly supports decision making. Across BFCL-v4, tau^2-Bench, VitaBench, and FinMCP-Bench, EnvACE achieves strong and transferable performance, outperforming environment-scaling baselines in the overall evaluation. Controlled studies further show that world rehearsal consistently improves policy learning across model scales. At test time, the internalized world model enables private rehearsal before committed execution, yielding further gains under a moderate rehearsal budget without additional external interaction. Our findings establish world rehearsal as a new path toward scaling LLM agent training beyond the constraints of external environments. Our code is publicly available at https://github.com/Within-yao/EnvACE.
• Abstract（参考訳）: 長期ツール使用のための大規模言語モデルエージェントの訓練は、通常、建設と検証にコストがかかる実際のまたは合成された実行環境との相互作用や、接地が難しい外部シミュレータに頼っている。 本研究では,世界リハーサルのトレーニング中に外部環境の相互作用を置き換えるエージェント強化学習手法であるEnvACEを紹介する。 ポリシーは行動とリハーサルの間で交互に行われ、まず最初にツールコールを生成し、次にそのアクションによって引き起こされる応答を生成する環境の役割を演じ、その後にリハーサルされた反応に関する決定を条件付ける。 どちらの役割も、タスク・サクセス報酬を使用して、エンドツーエンドで共同最適化されている。 世界的リハーサルを通じて、政策は行動と環境反応の関係をパラメーターに内包し、意思決定を直接支援するエージェントワールドモデルを生成する。 BFCL-v4, tau^2-Bench, VitaBench, FinMCP-Bench にまたがって,EnvACE は強靭かつ伝達可能な性能を実現し,総合評価において環境スケーリングベースラインを上回った。 制御された研究により、世界リハーサルはモデルスケールを越えた政策学習を一貫して改善することが示された。 テスト時に、内部化された世界モデルは、コミットされた実行の前にプライベートリハーサルを可能にし、追加の外部インタラクションなしで適度なリハーサル予算の下でさらに利益を得る。 本研究は, 外部環境の制約を超えて, LLMエージェントトレーニングを拡大するための新たな道筋として, ワールド・リハーサルを確立した。 私たちのコードはhttps://github.com/Within-yao/EnvACE.comで公開されています。

関連論文リスト

• Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use [14.813603277906623]
  我々は、クエリ、アクション、観察、ドメイン次元の分散シフトを特徴とするOpenAgentを定式化した。 分析の結果, エージェントがスーパーバイザード・ファイン・チューニング(SFT)と強化学習(Reinforcement Learning)の両方で訓練された場合, 性能劣化の程度が異なることが判明した。 本研究では,実環境におけるエージェントの堅牢性向上と実用性向上の基盤となる,SFTの妨害に基づく介入戦略であるPerturbation-Augmented Fine-Tuningを提案する。
  論文  参考訳（メタデータ） (2026-07-01T15:40:25Z)
• Reinforcement World Model Learning for LLM-based Agents [60.65003139516272]
  強化世界モデル学習(Reinforcement World Model Learning, RWML)は、LDMをベースとしたエージェントのための行動教師付き世界モデルを学ぶ自己条件付き手法である。 本手法は, モデルが生成したシミュレーションされた次の状態と, 環境から観測された次の状態とを一致させる。 本手法をALFWorldと2ドルのBenchで評価し,完全に自己管理されているにもかかわらず,ベースモデルに対する大幅な利得を観測した。
  論文  参考訳（メタデータ） (2026-02-05T16:30:08Z)
• Scaling Environments for LLM Agents in the Era of Learning from Interaction: A Survey [30.673419015614233]
  エージェントは環境と直接対話し、強化学習を通じて経験から学ぶべきだという意見が高まりつつある。 本稿では,この反復処理をGEFループとして定式化し,環境がエージェントに挑戦するためのタスクを生成し,タスク実行中のエージェントの動作に応答して観察を返却し,その後の学習のためのロールアウトに対する評価フィードバックを提供する。 このパラダイムの下では、環境は経験的データの必須生産元として機能し、より複雑な、現実主義、対話性へのスケールの必要性を強調している。
  論文  参考訳（メタデータ） (2025-11-12T12:56:25Z)
• Grounded Test-Time Adaptation for LLM Agents [75.62784644919803]
  大規模言語モデル(LLM)ベースのエージェントは、新規で複雑な環境への一般化に苦慮している。 環境特化情報を活用することで, LLMエージェントを適応するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2025-11-06T22:24:35Z)
• Scaling Agent Learning via Experience Synthesis [100.42712232390532]
  強化学習は、対話を通じて自己改善を行うことで、自律的なエージェントに力を与えることができる。 しかし、コストのかかるロールアウト、タスクの多様性の制限、信頼性の低い報奨信号、インフラストラクチャの複雑さによって、その実践的採用は依然として困難である。 私たちはDreamGymを紹介します。DreamGymはスケーラビリティを念頭において多様なエクスペリエンスを合成するために設計された最初の統合フレームワークです。
  論文  参考訳（メタデータ） (2025-11-05T18:58:48Z)
• Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
  本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。 ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。 我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
  論文  参考訳（メタデータ） (2025-10-11T18:11:09Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• Learning Curricula in Open-Ended Worlds [17.138779075998084]
  この論文は、Unsupervised Environment Design (UED)と呼ばれる手法のクラスを開発する。 環境設計空間が与えられたら、UEDは自動的に訓練環境の無限のシーケンスやカリキュラムを生成する。 本論文は,UEDオートキュリキュラがRL薬を産生し,ロバスト性を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2023-12-03T16:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。