論文の概要: Beyond Policy Alignment: Closing the Planning-Learning Loop for Robot Control with Learned World Models
- arxiv url: http://arxiv.org/abs/2609.39751v1
- Date: Wed, 30 Sep 2026 13:50:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.856747
- Title: Beyond Policy Alignment: Closing the Planning-Learning Loop for Robot Control with Learned World Models
- Title（参考訳）: 政策アライメントを超えて:学習した世界モデルを用いたロボット制御のための計画学習ループの閉鎖
- Abstract要約: 学習された世界モデルによる計画は、オンライン軌道最適化と学習された価値と高次元制御のためのポリシー関数を組み合わせる。
最近の政策制約のある変種は、学習した方針とプランナーの振る舞いを整合させることでループの一部を強化する。
PL-MPC (Planning-Learning MPC) を導入し,批判の監督とプランナーの端末値の推定を改良した。
- 参考スコア（独自算出の注目度）: 30.29252664504368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Planning with learned world models combines online trajectory optimization with learned value and policy functions for high-dimensional control. Because the planner determines the experience used for learning, while the learned critic and actor in turn score and propose future plans, planning and learning form a closed feedback loop. TD-MPC is a prominent instance of this design. Recent policy-constrained variants strengthen one part of the loop by aligning the learned policy with planner behavior. We introduce PL-MPC (Planning-Learning MPC), which additionally modifies critic supervision and planner terminal-value estimation. Hybrid multi-step TD targets expose critic updates to more realized rewards before bootstrapping; disagreement-aware terminal estimates reduce the influence of uncertain critic values during MPPI planning; and return-weighted actor distillation emphasizes planner-executed actions from high-return episodes. The world-model architecture and MPPI optimizer are otherwise unchanged. On HumanoidBench, the largest gains occur on \texttt{balance-hard}, where Total Average Return (TAR) increases from $98\pm18$ to $387\pm255$, and \texttt{hurdle}, from $199\pm13$ to $466\pm200$; performance across the broader benchmark remains task dependent, and PL-MPC remains competitive on DMControl. Controlled ablations show different component interactions across the two tasks. We further demonstrate zero-shot sim-to-real transfer on wrench-nut alignment with a 7-DoF KUKA IIWA14, obtaining higher observed success than TD-M(PC)^2 on the training object size and two unseen sizes. Code and data will be available at: https://pl-mpc-humanoid.github.io.
- Abstract（参考訳）: 学習された世界モデルによる計画は、オンライン軌道最適化と学習された価値と高次元制御のためのポリシー関数を組み合わせる。
プランナーが学習に使用する経験を決定するので、学習した批評家や俳優が得点し、将来の計画を提案し、計画と学習はクローズドなフィードバックループを形成する。
TD-MPCはこの設計の顕著な例である。
最近の政策制約のある変種は、学習した方針とプランナーの振る舞いを整合させることでループの一部を強化する。
PL-MPC (Planning-Learning MPC) を導入し,批判の監督とプランナーの端末値の推定を改良した。
ハイブリッドマルチステップTDターゲットは、ブートストラップ前により実現された報酬に対する批評家の更新を公開し、不一致を意識した端末推定は、MPPI計画中の不確実な批評家の値の影響を減少させ、リターン重み付きアクター蒸留は、ハイリターンエピソードからのプランナー実行アクションを強調する。
世界モデルアーキテクチャとMPPIオプティマイザは、そうでなければ変わらない。
HumanoidBenchでは、Total Average Return(TAR)が980\pm18$から387\pm255$に増加し、 \texttt{hurdle}が199\pm13$から466\pm200$に増加した。
制御されたアブレーションは、2つのタスク間で異なるコンポーネントの相互作用を示す。
さらに,7-DoF KUKA IIWA14を用いたレンチナッツアライメントにおけるゼロショット・シム・トゥ・リアルトランスファーを実証し,TD-M(PC)^2のトレーニング対象サイズと2つの未確認サイズにおいて高い成功率を得た。
コードとデータは、https://pl-mpc-humanoid.github.io.comで入手できる。
関連論文リスト
- GEM-MPC: Balancing Exploration and Exploitation through Expert-Guided Planning [0.03277163122167433]
本稿では,MPPIに基づく強化学習手法であるGEM-MPCを提案する。
Gated Prior Distillationを導入し、現在よりも優れたターゲットを提供する場合にのみ、保存された計画分布から選択的に学習する。
連続制御ベンチマーク全体において、GEM-MPCはより低い計算予算の下で、既存の計画ベースのベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-09-18T13:14:39Z) - CAST: Alternating State-Value Targets and Expanded Policy Gradients for Model-Based Reinforcement Learning [6.586422759470378]
提案するCAST(Critic with Alternating State-value Target)は、プランナー誘導行動を用いて価値学習を改善しつつ、現在の方針で価値見積を規則化する。
我々はDeepMind ControlとHumanoidBench SuitesのCASTをいくつかの最先端手法に対して評価し、動的ハンドスタンドを実行する物理Unitree Go2rupedへの転送に成功したことを示す。
論文 参考訳（メタデータ） (2026-09-08T15:05:16Z) - Hi-WM: Human-in-the-World-Model for Scalable Robot Post-Training [54.896907620476675]
本稿では,学習世界モデルを用いた学習後学習フレームワークを提案する。
Hi-WMは中間状態をキャッシュし、ロールバックとブランチをサポートする。
我々は、剛性と変形性のあるオブジェクト相互作用と2つのポリシーバックボーンにまたがる3つの実世界の操作タスクについて、Hi-WMを評価する。
論文 参考訳（メタデータ） (2026-04-23T14:42:54Z) - Bootstrap Off-policy with World Model [59.129118672069644]
ブートストラップループを通じて計画と非政治学習を緊密に統合するフレームワークであるBOOMを提案する。
BOOMは、トレーニングの安定性と最終的なパフォーマンスの両方において、最先端の結果を達成する。
論文 参考訳（メタデータ） (2025-11-01T06:33:04Z) - Double Check My Desired Return: Transformer with Target Alignment for Offline Reinforcement Learning [64.6334337560557]
教師付き学習(RvS)による強化学習は、シーケンスモデリングタスクとしてオフラインRLをフレーム化する。
決定変換器(DT)は、実際の完了したリターンを特定のターゲットリターンと確実に整合させるのに苦労する。
そこで我々は,Offline RLの目標アライメントによる変換器の二重チェックを行う新しいアプローチであるDoctorを提案する。
論文 参考訳（メタデータ） (2025-08-22T14:30:53Z) - FLARE: Robot Learning with Implicit World Modeling [87.81846091038676]
$textbfFLARE$は、予測潜在世界モデリングをロボットポリシー学習に統合する。
$textbfFLARE$は最先端のパフォーマンスを実現し、これまでのポリシー学習のベースラインを最大26%上回っている。
この結果は、暗黙の世界モデリングと高周波ロボット制御を組み合わせた汎用的でスケーラブルなアプローチとして$textbfFLARE$を確立した。
論文 参考訳（メタデータ） (2025-05-21T15:33:27Z) - Bootstrapped Model Predictive Control [19.652808098339644]
本稿では,ブートストラップ方式でポリシー学習を行う新しいアルゴリズムであるBootstrapped Model Predictive Control(BMPC)を紹介する。
BMPCは、MPCの専門家を模倣してネットワークポリシーを学び、その結果、MPCプロセスのガイドにこのポリシーを使用する。
本手法は,各種連続制御タスクの先行作業よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2025-03-24T16:46:36Z) - TD-M(PC)$^2$: Improving Temporal Difference MPC Through Policy Constraint [11.347808936693152]
モデルベースの強化学習アルゴリズムは、モデルベースの計画と学習された価値/政治を組み合わせる。
バリューラーニングに標準のSACスタイルのポリシーイテレーションに依存する既存の手法は、しばしばエンハンピスタントな価値過大評価をもたらす。
本稿では,ODAクエリを削減し,価値学習を改善する政策正規化項を提案する。
論文 参考訳（メタデータ） (2025-02-05T19:08:42Z) - Latent Plan Transformer for Trajectory Abstraction: Planning as Latent Space Inference [53.419249906014194]
オフライン強化学習から得られたデータセットを用いた計画のための生成モデルについて検討する。
本稿では,Transformerベースのトラジェクトリジェネレータと最終戻り値との接続に潜時変数を利用する新しいモデルであるLatent Plan Transformerを紹介する。
論文 参考訳（メタデータ） (2024-02-07T08:18:09Z) - Evaluating model-based planning and planner amortization for continuous
control [79.49319308600228]
我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。
モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。
モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
論文 参考訳（メタデータ） (2021-10-07T12:00:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。