論文の概要: Internalizing World Models via Self-Play Finetuning for Agentic RL

• arxiv url: http://arxiv.org/abs/2510.15047v1
• Date: Thu, 16 Oct 2025 18:03:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.342505
• Title: Internalizing World Models via Self-Play Finetuning for Agentic RL
• Title（参考訳）: エージェントRLのためのセルフプレイファインタニングによる世界モデルの内部化
• Authors: Shiqi Chen, Tongyao Zhu, Zian Wang, Jinghan Zhang, Kangrui Wang, Siyang Gao, Teng Xiao, Yee Whye Teh, Junxian He, Manling Li,
• Abstract要約: エージェントとしての大規模言語モデル(LLM)は、しばしばアウト・オブ・ディストリビューション(OOD)のシナリオで苦労する。 状態表現と遷移モデリングという2つのコンポーネントに分解することで、この世界モデルをエンコードする方法を示す。 SPAは,世界モデルを学習するために,セルフプレイ指導による微調整段階を通じてポリシーを冷やし始める,シンプルな強化学習フレームワークである。
• 参考スコア（独自算出の注目度）: 65.96875390986655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) as agents often struggle in out-of-distribution (OOD) scenarios. Real-world environments are complex and dynamic, governed by task-specific rules and stochasticity, which makes it difficult for LLMs to ground their internal knowledge in those dynamics. Under such OOD conditions, vanilla RL training often fails to scale; we observe Pass@k--the probability that at least one of (k) sampled trajectories succeeds--drops markedly across training steps, indicating brittle exploration and limited generalization. Inspired by model-based reinforcement learning, we hypothesize that equipping LLM agents with an internal world model can better align reasoning with environmental dynamics and improve decision-making. We show how to encode this world model by decomposing it into two components: state representation and transition modeling. Building on this, we introduce SPA, a simple reinforcement learning framework that cold-starts the policy via a Self-Play supervised finetuning (SFT) stage to learn the world model by interacting with the environment, then uses it to simulate future states prior to policy optimization. This simple initialization outperforms the online world-modeling baseline and greatly boosts the RL-based agent training performance. Experiments across diverse environments like Sokoban, FrozenLake, and Sudoku show that our approach significantly improves performance. For example, SPA boosts the Sokoban success rate from 25.6% to 59.8% and raises the FrozenLake score from 22.1% to 70.9% for the Qwen2.5-1.5B-Instruct model.
• Abstract（参考訳）: エージェントとしての大規模言語モデル(LLM)は、しばしばアウト・オブ・ディストリビューション(OOD)のシナリオで苦労する。 実世界の環境は複雑で動的であり、タスク固有の規則と確率性によって支配される。 Pass@k- (k) サンプル軌道の少なくとも1つが成功する確率は、トレーニングステップ間で顕著に行われ、不安定な探索と限定的な一般化が示される。 モデルに基づく強化学習に着想を得て, LLMエージェントを内的世界モデルに組み込むことで, 推論と環境動態の整合性を向上し, 意思決定を改善することができると仮定した。 状態表現と遷移モデリングという2つのコンポーネントに分解することで、この世界モデルをエンコードする方法を示す。 そこで我々は,SPAというシンプルな強化学習フレームワークを導入し,自己学習型ファインタニング(SFT)の段階を通じて,環境と対話して世界モデルを学習し,その上で,政策最適化に先立って将来の状態をシミュレートする。 この単純な初期化は、オンラインのワールドモデリングベースラインを上回っ、RLベースのエージェントトレーニングパフォーマンスを大幅に向上させる。 Sokoban、FrozenLake、Sudokuといった様々な環境における実験は、我々のアプローチがパフォーマンスを大幅に改善することを示している。 例えば、SPAはソコバンの成功率を25.6%から59.8%に引き上げ、Qwen2.5-1.5B-インストラクトモデルのフロゼンレイクスコアを22.1%から70.9%に引き上げている。

関連論文リスト

• CO-RFT: Efficient Fine-Tuning of Vision-Language-Action Models through Chunked Offline Reinforcement Learning [7.780242426487376]
  本稿では,ビジョン・ランゲージ・アクション(VLA)モデルのための新しい強化学習フレームワークであるチャンクドRLを提案する。 このフレームワーク内では、VLAモデルの顕著な特徴であるアクションチャンキングを組み込むために、時間差(TD)学習を拡張する。 次に、限定的なデモセットを用いてVLAモデルを微調整するアルゴリズムであるCO-RFTを提案する。
  論文  参考訳（メタデータ） (2025-08-04T09:11:48Z)
• SimuRA: Towards General Goal-Oriented Agent via Simulative Reasoning Architecture with LLM-Based World Model [88.04128601981145]
  汎用エージェント推論のための目標指向アーキテクチャであるSimuRAを紹介する。 モデルネームは、シミュレーションによる計画のための世界モデルを導入することで、自己回帰推論の限界を克服する。 特に、ワールドモデルベースのプランニングは、自己回帰プランニングよりも最大124%の一貫性のあるアドバンテージを示している。
  論文  参考訳（メタデータ） (2025-07-31T17:57:20Z)
• WebEvolver: Enhancing Web Agent Self-Improvement with Coevolving World Model [55.276852838877346]
  自己進化型エージェントは、独自のポリシーに基づいて、自律的にサンプリングされた軌道上で訓練される。 我々は,共進化型世界モデルLLMを導入する新しいフレームワークを提案する。 この世界モデルは、Web環境における現在の観察と行動に基づいて、次の観測を予測します。
  論文  参考訳（メタデータ） (2025-04-23T02:54:31Z)
• WALL-E 2.0: World Alignment by NeuroSymbolic Learning improves World Model-based LLM Agents [55.64361927346957]
  本研究では,大規模言語モデル(LLM)を補完する環境の記号的知識を学習する「世界アライメント」を提案する。 また、モデル予測制御フレームワークを用いて、RLフリーでモデルベースエージェント「WALL-E 2.0」を提案する。 WALL-E 2.0は、火星(Minecraftのような)とALFWorld(emboded indoor environment)のオープンワールド課題における既存の手法を著しく上回っている
  論文  参考訳（メタデータ） (2025-04-22T10:58:27Z)
• Accelerating Model-Based Reinforcement Learning with State-Space World Models [18.71404724458449]
  強化学習(Reinforcement Learning, RL)は、ロボット学習における強力なアプローチである。 しかし、モデルフリーRL(MFRL)は、制御ポリシーをうまく学習するために、多数の環境相互作用を必要とする。 状態空間世界モデルを用いたモデルベースRLの高速化手法を提案する。
  論文  参考訳（メタデータ） (2025-02-27T15:05:25Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• On the Feasibility of Cross-Task Transfer with Model-Based Reinforcement Learning [45.73223325256312]
  最新のモデルベースRLアルゴリズムで学習した内部モデルが、新しい明らかに異なるタスクを高速に解くために活用できるかどうかを考察する。 我々は,学習世界のモデルのスケーラブルな事前学習と微調整が可能な,サンプル効率の高いオンラインRLのためのフレームワークであるModel-Based Cross-Task Transfer (XTRA)を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:57:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。