論文の概要: ProPlay: Procedural World Models for Self-Evolving LLM Agents

• arxiv url: http://arxiv.org/abs/2606.12780v1
• Date: Thu, 11 Jun 2026 00:47:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.519289
• Title: ProPlay: Procedural World Models for Self-Evolving LLM Agents
• Title（参考訳）: プロプレイ:自己進化型LDMエージェントの手続き的世界モデル
• Abstract要約: 本稿では,プロシージャレベルのプリプレイをサポートするプロシージャ世界モデルであるProPlayを紹介する。 ProPlayは、強力なベースラインよりも環境理解と自己進化能力が一貫して向上していることを示す。
• 参考スコア（独自算出の注目度）: 37.23144834399938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-evolving agents are expected to improve through interaction without external supervision, but this remains difficult in partially observable environments where agents must explore actively, learn from limited feedback, and decide when to trust prior experience. Existing LLM-agent methods often rely on memory or planning modules, yet they rarely close the loop between them to continually refine an internal understanding of environment dynamics. We introduce ProPlay, a procedural world model that supports procedure-level preplay, where agents can rehearse future procedural paths using the learned world knowledge. Rather than representing experience as isolated rules or low-level action constraints, ProPlay abstracts successful trajectories into procedures and organizes them in a procedure graph that captures causal transitions among task stages. Each transition is associated with a reliability record embedding to estimate its task-specific contribution from past outcomes. Before each episode, ProPlay simulates future procedural trajectories over known graph structures as structured soft guidance; after execution, it refines the graph using environment feedback. Experiments on public benchmarks show that ProPlay consistently improves environment understanding and self-evolution capability over strong baselines. Our code has been released in https://github.com/antman9914/proplay.
• Abstract（参考訳）: 自己進化型エージェントは、外部の監督なしに相互作用を通じて改善されることが期待されているが、エージェントが積極的に探索し、限られたフィードバックから学び、いつ以前の経験を信頼するかを判断する必要がある部分的な観察可能な環境では、これは依然として困難である。 既存のLCMエージェントメソッドは、しばしばメモリやプランニングモジュールに依存しているが、環境力学の内部理解を継続的に洗練するために、それらのループを閉じることは滅多にない。 ProPlayはプロシージャレベルのプレプレイをサポートするプロシージャの世界モデルであり、エージェントは学習された世界知識を使って将来のプロシージャのパスをリハーサルすることができる。 ProPlayは、独立したルールや低レベルのアクション制約としてエクスペリエンスを表現するのではなく、成功したトラジェクトリをプロシージャに抽象化し、タスクステージ間の因果遷移をキャプチャするプロシージャグラフに整理する。 各トランジションは、過去の成果からタスク固有のコントリビューションを推定するために、信頼性記録の埋め込みと関連付けられている。 それぞれのエピソードの前に、ProPlayは構造化されたソフトガイダンスとして、既知のグラフ構造上の将来の手続き的軌跡をシミュレートする。 公開ベンチマークの実験では、ProPlayは強いベースラインよりも環境理解と自己進化能力を一貫して改善している。 私たちのコードはhttps://github.com/antman9914/proplayでリリースされています。

関連論文リスト

• Procedural Graphs: Self-Evolving Execution Structures for LLM Agents [11.810729293911622]
  手続きグラフ(Procedural Graph)は、手続き的知識を、何を問うかのトリプル(手続き、関係、手続き)に整理する。 各決定ステップにおいて、フレームワークはエージェントのアクティブノードをローカライズし、ガイダンスモデルは周辺のサブグラフをステップレベルの状況ガイダンスに変換する。 LLM精製器は失敗した軌跡と成功した軌跡を対比し、グラフの位相と属性を編集する。
  論文  参考訳（メタデータ） (2026-09-08T17:59:41Z)
• EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning [57.312638079204255]
  長期ツール使用のための大規模言語モデルエージェントの訓練は、通常、実または合成可能な環境との相互作用に依存する。 本研究では,世界リハーサルのトレーニング中に外部環境の相互作用を置き換えるエージェント強化学習手法であるEnvACEを紹介する。
  論文  参考訳（メタデータ） (2026-08-06T15:54:36Z)
• GuideMe: Multi-Domain Task Guidance and Intervention in Streaming Video [54.048366682378706]
  クローズドループ対話型タスクガイダンスのためのMLLMのトレーニングと評価を支援する,ストリーミングビデオのための最初のマルチドメインベンチマークである GuideMe を構築した。 223.7時間にわたる2,458本のビデオ(料理、オブジェクト操作、日常生活指導、フィットネスなど)と、次のステップの指示、完了フィードバック、エラー検出、修正ガイダンスを含む47,775本の対話サンプルで構成されている。
  論文  参考訳（メタデータ） (2026-07-03T06:00:04Z)
• TempAct: Advancing Temporal Plausibility in Autoregressive Video Generation via Planner-Executor RL [72.7712729541565]
  自己回帰(AR)ビデオ拡散モデルにより、ビデオチャンクをキャッシュされたビジュアルコンテキストでチャンクで合成することで、低レイテンシなストリーミング生成を可能にする。 1つのグローバルプロンプトは、どのサブイベントを各チャンクで実現すべきかを指定しないが、ステップワイズプロンプトにナビゲート的に切り替えると、しばしば遅延反応、ブレンドステップセマンティクス、プロンプト遷移間のエラー伝播につながる。 我々は、時間分解とステップ条件付き実行を協調的に最適化し、時間分解可能なARビデオ生成のためのプランナー-実行型強化学習フレームワークであるTempActでこれらの課題に対処する。
  論文  参考訳（メタデータ） (2026-06-26T12:19:28Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• AlignUSER: Human-Aligned LLM Agents via World Models for Recommender System Evaluation [0.7031557790463293]
  人間のインタラクションから世界モデル駆動エージェントを学習するフレームワークであるAlignを紹介する。 実証に関する反事実的軌跡を生成し, LLMに人間の選択と判断を比較し, 準最適行動を特定し, 教訓を抽出するよう促す。
  論文  参考訳（メタデータ） (2026-01-02T03:01:33Z)
• Scaling Environments for LLM Agents in the Era of Learning from Interaction: A Survey [30.673419015614233]
  エージェントは環境と直接対話し、強化学習を通じて経験から学ぶべきだという意見が高まりつつある。 本稿では,この反復処理をGEFループとして定式化し,環境がエージェントに挑戦するためのタスクを生成し,タスク実行中のエージェントの動作に応答して観察を返却し,その後の学習のためのロールアウトに対する評価フィードバックを提供する。 このパラダイムの下では、環境は経験的データの必須生産元として機能し、より複雑な、現実主義、対話性へのスケールの必要性を強調している。
  論文  参考訳（メタデータ） (2025-11-12T12:56:25Z)
• AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
  大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。 プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。 AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
  論文  参考訳（メタデータ） (2025-11-11T14:57:54Z)
• PADME: Procedure Aware DynaMic Execution [7.8148770419284865]
  本稿では,プロシージャをグラフベースで表現するエージェントフレームワークであるPADME(Process Aware DynaMic Execution)を紹介する。 手動グラフ構築や非構造化推論に依存する以前の作業とは異なり、PADMEは手続き的テキストを自動で実行可能なグラフに変換する。 PADMEは、ALFWorldとScienceWorldを含む4つの異なるベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-10-13T11:15:49Z)
• Cogito, Ergo Ludo: An Agent that Learns to Play by Reasoning and Planning [14.263118871262941]
  我々は,環境の仕組みとその戦略を明示的かつ言語ベースで理解する新しいエージェントアーキテクチャであるCogito, ergo ludo (CEL)を紹介した。 CELは相互作用とリフレクションのサイクルで動作し、ルール誘導と戦略とプレイブック要約という2つの同時学習プロセスを実行する。 我々は,多様なグリッドワールドタスク(マインズウィーパー,フリーズレーク,ソコバン)でCELを評価し,CELエージェントが,ルールを自律的に発見し,スパース報酬から効果的なポリシーを開発することで,これらのゲームを習得することに成功したことを示す。
  論文  参考訳（メタデータ） (2025-09-29T17:02:31Z)
• Procedural Adherence and Interpretability Through Neuro-Symbolic Generative Agents [0.9886108751871757]
  本稿では,形式論理に基づくプログラム合成とLCMコンテンツ生成を組み合わせることで,生成エージェントの動作に対する手続き的順守と解釈可能性の保証を実現する。 手続き的付着と解釈可能性の利点を説明するために,エージェントに解釈可能な高レベル時間構造を強制するオートマトンを生成するためにテンポラルストリーム論理(TSL)を用いる。
  論文  参考訳（メタデータ） (2024-02-24T21:36:26Z)
• Reason for Future, Act for Now: A Principled Framework for Autonomous LLM Agents with Provable Sample Efficiency [53.8779374188643]
  本稿では,推論と行動のオーケストレーションを行うための,証明可能な後悔の保証を備えた原則的枠組みを提案する。 具体的には、メモリバッファから学習する推論のためのプロンプトテンプレートを設計し、長い水平線上で将来の軌道を計画する。 各ステップにおいて、LLMエージェントは計画された軌跡の初期動作("act for now")を受け取り、収集したフィードバックをメモリバッファに格納し、推論ルーチンを再起動して、将来の軌跡を新しい状態から再設計する。
  論文  参考訳（メタデータ） (2023-09-29T16:36:39Z)
• Chain of Thought Imitation with Procedure Cloning [129.62135987416164]
  本稿では,一連の専門家計算を模倣するために,教師付きシーケンス予測を適用したプロシージャクローニングを提案する。 本研究では、専門家の行動の中間計算を模倣することで、プロシージャのクローン化により、未知の環境構成に顕著な一般化を示すポリシーを学習できることを示す。
  論文  参考訳（メタデータ） (2022-05-22T13:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。