論文の概要: EAU: Environment-Agent-User Co-evolution for Training User-Centric Agents

• arxiv url: http://arxiv.org/abs/2610.16523v1
• Date: Mon, 12 Oct 2026 10:11:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.355681
• Title: EAU: Environment-Agent-User Co-evolution for Training User-Centric Agents
• Title（参考訳）: EAU: ユーザ中心エージェントの学習のための環境支援型ユーザ共進化
• Abstract要約: 本稿では,環境管理のためのメタエージェントフレームワークEAUを紹介する。 EAUは、トラジェクトリ、ツールトレース、報酬、トレーニング統計を監視し、障害と非形式的相互作用を診断する。 EAUは、3つのインタラクティブエージェントベンチマークと2つのバックボーンモデルで、従来のRLメソッドよりも一貫して優れている。
• 参考スコア（独自算出の注目度）: 20.72212837616191
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training LLM agents to interact with users over multiple turns is challenging because the learning signal depends not only on the agent, but also on the user simulator and environment, which jointly shape the agent's experience. Simulated users can be stochastic or inconsistent, while environments may contain unreliable tools, incomplete state coverage, and incorrect verifiers. Prior work mainly addresses the resulting instability through reward shaping or denser supervision, while treating these components as fixed. We instead introduce EAU, a meta-agent framework for environment--agent--user co-evolution. During training, EAU monitors trajectories, tool traces, rewards, and training statistics; diagnoses failures and uninformative interactions; and proposes targeted modifications to the user simulator, environment, reward design, and RL configuration. Validated changes are hot-swapped into the ongoing run, allowing the training setup to evolve together with the policy. These adaptations also persist across runs, so later training can build on previously discovered improvements rather than restarting from a fixed setup. We enable this process through an editable symbolic representation of user and environment dynamics, while the agent remains a neural LLM optimized with RL. Across three interactive-agent benchmarks and two backbone models, EAU consistently outperforms prior RL methods, improving the overall score over the strongest baseline by 14.7--15.0% and increasing successful task completion on ColBench by up to 36.7%, showing that co-evolving the training system with the policy can substantially improve multi-turn RL.
• Abstract（参考訳）: 学習信号はエージェントだけでなく、エージェントの体験を共同で形作るユーザシミュレータや環境にも依存するため、複数のターンでユーザと対話するためのLLMエージェントの訓練は困難である。 シミュレーションされたユーザは確率的あるいは矛盾する可能性があるが、環境には信頼性の低いツール、不完全な状態カバレッジ、不正な検証が含まれている。 以前の作業は主に報酬形成やより密集的な監督を通じて生じる不安定性に対処する一方で、これらのコンポーネントを固定として扱う。 EAUは環境管理のためのメタエージェントフレームワークです。 トレーニング中、EAUはトラジェクトリ、ツールトレース、報酬、トレーニング統計を監視し、障害と非形式的相互作用を診断し、ユーザシミュレータ、環境、報酬設計、RL設定へのターゲット変更を提案する。 検証済みの変更が進行中の実行にホットスワップされ、トレーニング設定がポリシとともに進化することが可能になる。 これらの適応も実行中に継続するため、後続のトレーニングは、固定セットアップから再起動するのではなく、以前に発見された改善に基づいて構築することができる。 エージェントは、RLで最適化されたニューラルLLMのままでありながら、ユーザと環境のダイナミクスの編集可能なシンボル表現により、このプロセスを有効にする。 3つのインタラクティブ・エージェント・ベンチマークと2つのバックボーン・モデルにおいて、EAUは従来のRL法を一貫して上回り、最強のベースラインでのスコアを14.7～15.0%改善し、コルベンチでのタスク完了を最大36.7%向上させた。

関連論文リスト

• WEFT: Scaling Tool-Use Post-Training for General-Purpose Agents [83.57238211078025]
  WEFTは、環境幅、タスクの複雑さ、相互作用の多様性にまたがるエージェントインタラクションシステムの構築をスケールする。 大規模で安定した後トレーニングでは、WEFTは最適化と実行の信頼性の両方に対処する。 様々なモデルとベンチマークによる実験は、ツール使用後のトレーニングにおけるWEFTの有効性を示す。
  論文  参考訳（メタデータ） (2026-09-29T07:14:53Z)
• SPADE: Self-Play in Adaptive Synthetic Executable Environments [110.80471334001574]
  1つのLLMが2つの役割を演じるセルフプレイのRLフレームワークであるSPADEを紹介する。 Environment Designerは、OpenAI Gymスタイルのreset()/step()インターフェイスで実行可能なコードとして、完全な長距離トレーニング環境を記述する。 環境デザイナは,大規模な事前学習コーパスから採取した文書に基づいて構築し,蓄積した環境記憶を与える。
  論文  参考訳（メタデータ） (2026-08-19T17:58:56Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• SEAL: Synergistic Co-Evolution of Agents and Learning Environments [11.720414165425256]
  大きな言語モデル(LLM)エージェントは、インタラクションによってますます改善されている。 ほとんどの自己進化的手法は、政策または学習環境を独立に適応させる。 対話型ツール利用エージェントのためのクローズドループ共進化フレームワークSEALを提案する。
  論文  参考訳（メタデータ） (2026-05-23T06:41:31Z)
• CoEvolve: Training LLM Agents via Agent-Data Mutual Evolution [17.762976387817762]
  CoEvolveはエージェントデータ相互進化フレームワークで、LLMエージェントはクローズドループ、インタラクション駆動トレーニングを通じて改善できる。 CoEvolveは、ロールアウトトラジェクトリからの忘れや不確実性といったフィードバック信号を抽出して、障害が発生しやすいインタラクションパターンを特定する。 合成されたタスクは環境相互作用を通じて検証され、データ分布の更新に利用され、エージェントとそのデータの共同適応を可能にする。
  論文  参考訳（メタデータ） (2026-04-17T08:41:26Z)
• Autonomous Continual Learning of Computer-Use Agents for Environment Adaptation [57.65688895630163]
  ACuRLは自律的なカリキュラム強化学習フレームワークで、エージェントを人間データゼロの特定の環境に継続的に適応させる。 本研究では,環境内学習と環境横断学習の両方を効果的に実現し,既存の環境を忘れずに4～22%の性能向上を実現した。
  論文  参考訳（メタデータ） (2026-02-10T23:06:02Z)
• Scaling Agent Learning via Experience Synthesis [100.42712232390532]
  強化学習は、対話を通じて自己改善を行うことで、自律的なエージェントに力を与えることができる。 しかし、コストのかかるロールアウト、タスクの多様性の制限、信頼性の低い報奨信号、インフラストラクチャの複雑さによって、その実践的採用は依然として困難である。 私たちはDreamGymを紹介します。DreamGymはスケーラビリティを念頭において多様なエクスペリエンスを合成するために設計された最初の統合フレームワークです。
  論文  参考訳（メタデータ） (2025-11-05T18:58:48Z)
• UserRL: Training Interactive User-Centric Agent via Reinforcement Learning [104.63494870852894]
  強化学習(Reinforcement Learning, RL)は、動的多ターン相互作用に関わるエージェントモデルのトレーニングにおいて有望であることを示す。 我々は,標準化された体育環境を通じて,ユーザ中心の能力のトレーニングと評価を行う統一的なフレームワークであるUserRLを提案する。
  論文  参考訳（メタデータ） (2025-09-24T03:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。