論文の概要: Reinforced Planning with Latent World Models
- arxiv url: http://arxiv.org/abs/2608.18669v1
- Date: Wed, 19 Aug 2026 08:21:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.340891
- Title: Reinforced Planning with Latent World Models
- Title（参考訳）: 潜在世界モデルによる強化計画
- Abstract要約: 本稿では,優れた探索規則をニューラルネットワークに強化することにより,探索を学習する手法であるReinforced Planningを紹介する。
我々の実装RP1は、批評家による想像結果の評価方法と、オフライントレーニングによる多段階計画の改善方法の両方を学ぶ。
RP1は手書きの検索アルゴリズムを大幅に上回り、いくつかの設定でほぼ完璧に成功している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Humans solve complex problems by constructing plans and mentally simulating their outcomes with an internal model of the world. Machine learning has produced world models that similarly predict the outcomes of action sequences, but the improvement of candidate plans still isn't fully learned. Current planners are either hand-designed, distilled from a hand-designed optimizer, or learned only to inform an amortized policy rather than to revise the plan itself. We introduce the Reinforced Planning, a method based on the idea that search can be learned by reinforcing good search rules into a neural planner. Our implementation RP1 learns both how to evaluate imagined outcomes through a critic, as well as how to improve multi-step plans through an optimizer trained fully offline from imagined world-model roll-outs. To our knowledge, RP1 is the first method to fully learn how to improve multi-step plans. Furthermore, it can be trained independently of and attached to any pretrained latent world model. Across visual navigation, arm reaching, and robotic manipulation on two world-model backbones, RP1 substantially outperforms hand-designed search algorithms, reaching near-perfect success in several settings while using $1,000 \times$ less world-model rollouts and being up to $67 \times$ faster than the strongest alternative under concurrent planner inference.
- Abstract（参考訳）: 人間は計画を構築し、その成果を世界の内部モデルで精神的にシミュレートすることで複雑な問題を解決する。
機械学習は、アクションシーケンスの結果を同じように予測する世界モデルを生み出しているが、候補プランの改善はまだ完全には学習されていない。
現在のプランナーは手作業で設計され、手作業で設計したオプティマイザから蒸留されるか、あるいは計画自体を改訂するのではなく、償却された方針を伝えるためにのみ学習される。
本稿では,優れた探索規則をニューラルネットワークに強化することにより,探索を学習する手法であるReinforced Planningを紹介する。
我々の実装RP1は、批評家による想像結果の評価方法と、仮想世界モデルロールアウトから完全にオフラインでトレーニングされた最適化器による多段階計画の改善方法の両方を学ぶ。
私たちの知る限り、RP1はマルチステップ計画を改善する方法を完全に学習する最初の方法です。
さらに、トレーニング済みの潜在世界モデルとは独立してトレーニングし、アタッチすることができる。
ビジュアルナビゲーション、アームリーチ、ロボット操作を2つの世界モデルのバックボーンで行い、RP1は手作りの検索アルゴリズムを大幅に上回り、いくつかの設定でほぼ完璧に成功している。
関連論文リスト
- IMWM: Intuition Models Complement World Models for Latent Planning [21.033541866844683]
有限予算のサンプルベースプランナーがまだいくつかのタスクで失敗していることを示す。
このギャップに触発されたIMWMを提案する。これは世界モデルと、実証から訓練された直観モデルとを組み合わせて、期待できる行動を認識する。
論文 参考訳（メタデータ） (2026-06-01T03:23:25Z) - Hierarchical Planning with Latent World Models [49.82095442483551]
階層的計画は、最大4倍の計画時間計算を必要としながら、より高い成功を達成する。
この階層的なアプローチにより、現実世界の非グリーディロボットタスクをゼロショットで制御できることを実証する。
論文 参考訳（メタデータ） (2026-04-03T17:32:36Z) - Closing the Train-Test Gap in World Models for Gradient-Based Planning [64.36544881136405]
本研究では,効率的な勾配計画を可能にする世界モデルの学習方法を提案する。
テスト時には,古典的勾配のないクロスエントロピー法よりも優れた手法が提案される。
論文 参考訳（メタデータ） (2025-12-10T18:59:45Z) - From Forecasting to Planning: Policy World Model for Collaborative State-Action Prediction [57.56072009935036]
政策世界モデル(PWM)と呼ばれる新しい運転パラダイムを導入する。
PWMは、統一アーキテクチャ内での世界モデリングと軌道計画を統合する。
提案手法は,マルチビューおよびマルチモーダル入力に依存する最先端の手法に適合するか,あるいは超越する。
論文 参考訳（メタデータ） (2025-10-22T14:57:51Z) - Personalized Learning Path Planning with Goal-Driven Learner State Modeling [68.96987567845824]
パーソナライズされた学習パスのための新しいフレームワークであるPxploreを紹介する。
構造化学習状態モデルと,抽象目的を計算可能な信号に変換する自動報酬関数を設計する。
実験は、コヒーレントでパーソナライズされた目標駆動学習パスを生成する上で、Pxploreの有効性を検証する。
論文 参考訳（メタデータ） (2025-10-15T06:59:49Z) - A Goal Without a Plan Is Just a Wish: Efficient and Effective Global Planner Training for Long-Horizon Agent Tasks [66.86312354478478]
大規模言語モデル(LLM)に基づくエージェントは、長期的タスクにおけるグローバルな計画の欠如により、脳の無い試行錯誤と幻覚行動を引き起こす。
計画実行フレームワークを導入し,人的努力を伴わずに実行エージェントの計画能力を高めるためのプランナー訓練手法を提案する。
実験の結果,我々のプランナーを組み込んだ実行エージェントは既存の手法よりも優れており,新たな最先端性能を実現していることがわかった。
論文 参考訳（メタデータ） (2025-10-07T06:10:53Z) - Enter the Void - Planning to Seek Entropy When Reward is Scarce [6.208654695856247]
本稿では,短時間の潜伏予測を用いて,高エントロピー状態の予測と探索を積極的に行う新しい手法を提案する。
提案する階層型プランナは,いつ計画を立てるか,地平線の長さを計画し,報酬とエントロピーの重み付けを動的に行う。
提案手法は,Dreamerのコンバージェンスにおいて,Dreamerのコンバージェンスよりも50%高速で,Dreamerが必要とする環境ステップの60%に,想像力で訓練されたポリシーが収束する。
論文 参考訳（メタデータ） (2025-05-22T15:28:50Z) - World Modeling Makes a Better Planner: Dual Preference Optimization for Embodied Task Planning [60.100794160682646]
そこで本稿では,嗜好学習による状態予測と行動選択を協調的に最適化する新たな学習フレームワークを提案する。
人間のアノテーションを使わずに軌道や段階的な選好データを自動的に収集するために,試行錯誤による広範囲な探索のための木探索機構を導入する。
提案手法は,Qwen2-VL (7B), LLaVA-1.6 (7B), LLaMA-3.2 (11B) に適用した場合, 既存の手法と GPT-4o を著しく上回っている。
論文 参考訳（メタデータ） (2025-03-13T15:49:56Z) - Thinker: Learning to Plan and Act [18.425843346728648]
思考アルゴリズムは環境を世界モデルで包み、世界モデルと対話するために設計された新しいアクションを導入する。
本研究では,ソコバンとアタリ2600ベンチマークを用いて,実験結果を用いてアルゴリズムの有効性を実証する。
論文 参考訳（メタデータ） (2023-07-27T16:40:14Z) - Learning to Execute: Efficient Learning of Universal Plan-Conditioned
Policies in Robotics [20.148408520475655]
本稿では,L2E(Learning to Execute)を導入し,概略計画に含まれる情報を活用し,計画に規定されたユニバーサルポリシーを学習する。
我々のロボット操作実験では、L2Eは純粋なRL、純粋な計画法、学習と計画を組み合わせたベースライン手法と比較して性能が向上した。
論文 参考訳（メタデータ） (2021-11-15T16:58:50Z) - Evolutionary Planning in Latent Space [7.863826008567604]
プランニングは、いくつかの望ましい特性を持つ強化学習の強力なアプローチである。
我々は、ラテントスペースにおける進化的計画を可能にする世界モデルを学ぶ。
ランダムなポリシーからのロールアウトでブートストラップし、より正確な計画ポリシーからのロールアウトで反復的に修正することで、世界のモデルを構築する方法を示します。
論文 参考訳（メタデータ） (2020-11-23T09:21:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。