論文の概要: Policy and World Modeling Co-Training for Language Agents

• arxiv url: http://arxiv.org/abs/2606.02388v1
• Date: Mon, 01 Jun 2026 15:35:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:32.400697
• Title: Policy and World Modeling Co-Training for Language Agents
• Title（参考訳）: 言語エージェントの政策と世界モデリング
• Abstract要約: 強化学習(RL)は、大きな言語モデル(LLM)エージェントを、高い報酬をもたらすアクションを教えることによって改善するが、これらのアクションが環境に何をするかをほとんど監督しない。 世界モデリング(WM)はこのギャップを埋めることができますが、既存のアプローチでは、個別のシミュレータ、追加のトレーニングステージ、追加の推論時間計算が必要です。 我々は、推論パラダイムを変更することなく、RL中に同一ポリシーに補助的なWM監督を追加する政策・世界モデリング協調学習フレームワークPaWを提案する。
• 参考スコア（独自算出の注目度）: 44.550078924046375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) improves large language model (LLM) agents by teaching them which actions lead to high rewards, but provides little supervision on what those actions do to the environment. World modeling (WM) can fill this gap, yet existing approaches often require separate simulators, extra training stages, or additional inference-time computation. We observe that on-policy RL rollouts already contain the needed signal: each transition pairs an action with its resulting next observation. Based on this observation, we propose PaW, a Policy and World modeling co-training framework that adds auxiliary WM supervision to the same policy during RL, without changing the inference paradigm. To make auxiliary WM supervision informative and stable, PaW introduces three components: action-entropy-based WM data selection, noise-tolerant WM loss, and reward-adaptive loss balancing. Experiments on three agentic task benchmarks show consistent improvements over strong RL baselines across models and RL algorithms. These results suggest that standard RL rollouts are a practical source of WM supervision for language-agent training.
• Abstract（参考訳）: 強化学習(RL)は、大きな言語モデル(LLM)エージェントを、高い報酬をもたらすアクションを教えることによって改善するが、これらのアクションが環境に何をするかをほとんど監督しない。 世界モデリング(WM)はこのギャップを埋めることができますが、既存のアプローチでは、個別のシミュレータ、追加のトレーニングステージ、追加の推論時間計算が必要です。 政治上のRLロールアウトには必要な信号が含まれており、各遷移は次の観測結果とアクションをペアリングする。 そこで本研究では,RL における WM の補助的監督を推論パラダイムを変更することなく,同一のポリシーに付加する政策・世界モデリング協調学習フレームワーク PaW を提案する。 補助的なWM監視を情報的かつ安定したものにするため、PaWはアクションエントロピーベースのWMデータ選択、ノイズ耐性WM損失、報酬適応的損失分散という3つのコンポーネントを導入している。 3つのエージェントタスクベンチマークの実験では、モデルとRLアルゴリズム間の強いRLベースラインよりも一貫した改善が示されている。 これらの結果から,標準RLロールアウトは言語エージェント訓練におけるWM管理の実践的な源泉であることが示唆された。

関連論文リスト

• Scaling Automatic Research Agents via World Models [42.9808933592206]
  最近の研究(AutoResearch)エージェントは、ソリューションを独立して実装し、実行から学ぶ能力を示している。 これらの利益の裏では、ポストトレーニング(特にRL)が中心的な役割を果たす。 世界モデルRL(WMRL)はこのボトルネックを取り除くために環境実行を世界モデルに置き換える。
  論文  参考訳（メタデータ） (2026-08-12T20:11:25Z)
• TAPO: Transition-Aware Policy Optimization for LLM Agents [27.95488836373643]
  TAPOは、政策最適化と移行監督を交互に行う統合トレーニングフレームワークである。 既存のエージェントRLアルゴリズムのための計算量的に軽量でプラグアンドプレイ拡張モジュールとして機能する。 我々はWebShopとALFWorldの体系的な実験を行い、様々なスケールの基礎モデルと異なるポリシー最適化アルゴリズムを統合する。
  論文  参考訳（メタデータ） (2026-07-30T10:17:55Z)
• Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL [0.8546394944138487]
  我々は、テキストベースの世界モデリングを、初期状態に分解可能な遷移力学問題として定式化する。 我々は、9つのオープンソース環境と12のフロンティアモデルファミリーにまたがる239,403の基底状態行動軌跡をキュレートする。 我々は,決定論的状態チェックを備えたGRPOトレーニングフレームワークを導入し,3つのOOD環境上でゼロショット転送処理を行う。
  論文  参考訳（メタデータ） (2026-05-07T00:40:32Z)
• Agent2World: Learning to Generate Symbolic World Models via Adaptive Multi-Agent Feedback [51.22403664895878]
  Agent2Worldは、強力な推論時ワールドモデル生成を実現するツール拡張マルチエージェントフレームワークである。 また、マルチエージェントフィードバックの生成を基盤にすることで、教師付き微調整のためのデータエンジンとしても機能する。
  論文  参考訳（メタデータ） (2025-12-26T18:54:14Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。