論文の概要: ProPlay: Procedural World Models for Self-Evolving LLM Agents

• arxiv url: http://arxiv.org/abs/2606.12780v1
• Date: Thu, 11 Jun 2026 00:47:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.519289
• Title: ProPlay: Procedural World Models for Self-Evolving LLM Agents
• Title（参考訳）: プロプレイ:自己進化型LDMエージェントの手続き的世界モデル
• Authors: Yijun Ma, Zehong Wang, Yiyang Li, Ziming Li, Xiaoguang Guo, Weixiang Sun, Chuxu Zhang, Yanfang Ye,
• Abstract要約: 本稿では,プロシージャレベルのプリプレイをサポートするプロシージャ世界モデルであるProPlayを紹介する。 ProPlayは、強力なベースラインよりも環境理解と自己進化能力が一貫して向上していることを示す。
• 参考スコア（独自算出の注目度）: 37.23144834399938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-evolving agents are expected to improve through interaction without external supervision, but this remains difficult in partially observable environments where agents must explore actively, learn from limited feedback, and decide when to trust prior experience. Existing LLM-agent methods often rely on memory or planning modules, yet they rarely close the loop between them to continually refine an internal understanding of environment dynamics. We introduce ProPlay, a procedural world model that supports procedure-level preplay, where agents can rehearse future procedural paths using the learned world knowledge. Rather than representing experience as isolated rules or low-level action constraints, ProPlay abstracts successful trajectories into procedures and organizes them in a procedure graph that captures causal transitions among task stages. Each transition is associated with a reliability record embedding to estimate its task-specific contribution from past outcomes. Before each episode, ProPlay simulates future procedural trajectories over known graph structures as structured soft guidance; after execution, it refines the graph using environment feedback. Experiments on public benchmarks show that ProPlay consistently improves environment understanding and self-evolution capability over strong baselines. Our code has been released in https://github.com/antman9914/proplay.
• Abstract（参考訳）: 自己進化型エージェントは、外部の監督なしに相互作用を通じて改善されることが期待されているが、エージェントが積極的に探索し、限られたフィードバックから学び、いつ以前の経験を信頼するかを判断する必要がある部分的な観察可能な環境では、これは依然として困難である。 既存のLCMエージェントメソッドは、しばしばメモリやプランニングモジュールに依存しているが、環境力学の内部理解を継続的に洗練するために、それらのループを閉じることは滅多にない。 ProPlayはプロシージャレベルのプレプレイをサポートするプロシージャの世界モデルであり、エージェントは学習された世界知識を使って将来のプロシージャのパスをリハーサルすることができる。 ProPlayは、独立したルールや低レベルのアクション制約としてエクスペリエンスを表現するのではなく、成功したトラジェクトリをプロシージャに抽象化し、タスクステージ間の因果遷移をキャプチャするプロシージャグラフに整理する。 各トランジションは、過去の成果からタスク固有のコントリビューションを推定するために、信頼性記録の埋め込みと関連付けられている。 それぞれのエピソードの前に、ProPlayは構造化されたソフトガイダンスとして、既知のグラフ構造上の将来の手続き的軌跡をシミュレートする。 公開ベンチマークの実験では、ProPlayは強いベースラインよりも環境理解と自己進化能力を一貫して改善している。 私たちのコードはhttps://github.com/antman9914/proplayでリリースされています。

関連論文リスト

• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• AlignUSER: Human-Aligned LLM Agents via World Models for Recommender System Evaluation [0.7031557790463293]
  人間のインタラクションから世界モデル駆動エージェントを学習するフレームワークであるAlignを紹介する。 実証に関する反事実的軌跡を生成し, LLMに人間の選択と判断を比較し, 準最適行動を特定し, 教訓を抽出するよう促す。
  論文  参考訳（メタデータ） (2026-01-02T03:01:33Z)
• Scaling Environments for LLM Agents in the Era of Learning from Interaction: A Survey [30.673419015614233]
  エージェントは環境と直接対話し、強化学習を通じて経験から学ぶべきだという意見が高まりつつある。 本稿では,この反復処理をGEFループとして定式化し,環境がエージェントに挑戦するためのタスクを生成し,タスク実行中のエージェントの動作に応答して観察を返却し,その後の学習のためのロールアウトに対する評価フィードバックを提供する。 このパラダイムの下では、環境は経験的データの必須生産元として機能し、より複雑な、現実主義、対話性へのスケールの必要性を強調している。
  論文  参考訳（メタデータ） (2025-11-12T12:56:25Z)
• AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
  大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。 プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。 AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
  論文  参考訳（メタデータ） (2025-11-11T14:57:54Z)
• PADME: Procedure Aware DynaMic Execution [7.8148770419284865]
  本稿では,プロシージャをグラフベースで表現するエージェントフレームワークであるPADME(Process Aware DynaMic Execution)を紹介する。 手動グラフ構築や非構造化推論に依存する以前の作業とは異なり、PADMEは手続き的テキストを自動で実行可能なグラフに変換する。 PADMEは、ALFWorldとScienceWorldを含む4つの異なるベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-10-13T11:15:49Z)
• Cogito, Ergo Ludo: An Agent that Learns to Play by Reasoning and Planning [14.263118871262941]
  我々は,環境の仕組みとその戦略を明示的かつ言語ベースで理解する新しいエージェントアーキテクチャであるCogito, ergo ludo (CEL)を紹介した。 CELは相互作用とリフレクションのサイクルで動作し、ルール誘導と戦略とプレイブック要約という2つの同時学習プロセスを実行する。 我々は,多様なグリッドワールドタスク(マインズウィーパー,フリーズレーク,ソコバン)でCELを評価し,CELエージェントが,ルールを自律的に発見し,スパース報酬から効果的なポリシーを開発することで,これらのゲームを習得することに成功したことを示す。
  論文  参考訳（メタデータ） (2025-09-29T17:02:31Z)
• Procedural Adherence and Interpretability Through Neuro-Symbolic Generative Agents [0.9886108751871757]
  本稿では,形式論理に基づくプログラム合成とLCMコンテンツ生成を組み合わせることで,生成エージェントの動作に対する手続き的順守と解釈可能性の保証を実現する。 手続き的付着と解釈可能性の利点を説明するために,エージェントに解釈可能な高レベル時間構造を強制するオートマトンを生成するためにテンポラルストリーム論理(TSL)を用いる。
  論文  参考訳（メタデータ） (2024-02-24T21:36:26Z)
• Reason for Future, Act for Now: A Principled Framework for Autonomous LLM Agents with Provable Sample Efficiency [53.8779374188643]
  本稿では,推論と行動のオーケストレーションを行うための,証明可能な後悔の保証を備えた原則的枠組みを提案する。 具体的には、メモリバッファから学習する推論のためのプロンプトテンプレートを設計し、長い水平線上で将来の軌道を計画する。 各ステップにおいて、LLMエージェントは計画された軌跡の初期動作("act for now")を受け取り、収集したフィードバックをメモリバッファに格納し、推論ルーチンを再起動して、将来の軌跡を新しい状態から再設計する。
  論文  参考訳（メタデータ） (2023-09-29T16:36:39Z)
• Chain of Thought Imitation with Procedure Cloning [129.62135987416164]
  本稿では,一連の専門家計算を模倣するために,教師付きシーケンス予測を適用したプロシージャクローニングを提案する。 本研究では、専門家の行動の中間計算を模倣することで、プロシージャのクローン化により、未知の環境構成に顕著な一般化を示すポリシーを学習できることを示す。
  論文  参考訳（メタデータ） (2022-05-22T13:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。