論文の概要: GEM-MPC: Balancing Exploration and Exploitation through Expert-Guided Planning
- arxiv url: http://arxiv.org/abs/2609.21735v1
- Date: Fri, 18 Sep 2026 13:14:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.101819
- Title: GEM-MPC: Balancing Exploration and Exploitation through Expert-Guided Planning
- Title（参考訳）: GEM-MPC:エキスパートガイドプランニングによる探索と爆発のバランス
- Abstract要約: 本稿では,MPPIに基づく強化学習手法であるGEM-MPCを提案する。
Gated Prior Distillationを導入し、現在よりも優れたターゲットを提供する場合にのみ、保存された計画分布から選択的に学習する。
連続制御ベンチマーク全体において、GEM-MPCはより低い計算予算の下で、既存の計画ベースのベースラインを一貫して上回っている。
- 参考スコア（独自算出の注目度）: 0.03277163122167433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effective exploration in high-dimensional continuous control remains a central challenge in reinforcement learning. Planning-based methods address this by combining online planning with learned policies and value functions, but their components can become misaligned during training: learned sampling policies may diverge from planner behavior, while planning distributions stored in replay become stale as the model and value function evolve. Reanalysis can refresh these targets, but at substantial computational cost. We propose GEM-MPC, an MPPI-based reinforcement learning method that improves the interaction between planning and learning. GEM-MPC uses MPPI to combine a policy trained to clone the planner with a KL-regularized policy that explores around it, providing complementary exploitation and guided exploration within planning. We further introduce Gated Prior Distillation, which selectively learns from stored planning distributions only when they provide a better target than the current prior, reducing the impact of stale planning data without requiring full reanalysis. Across continuous-control benchmarks, GEM-MPC consistently outperforms existing planning-based baselines under lower computational budgets.
- Abstract（参考訳）: 高次元連続制御における効果的な探索は、強化学習における中心的な課題である。
学習されたサンプリングポリシーはプランナーの行動から分岐し、リプレイに格納された計画分布はモデルと値関数が進化するにつれて停滞する。
リアナリシスはこれらのターゲットをリフレッシュするが、かなりの計算コストがかかる。
本稿では,MPPIに基づく強化学習手法であるGEM-MPCを提案する。
GEM-MPCはMPPIを使用して、プランナーをクローンするために訓練されたポリシーと、その周辺を探索するKL規則化されたポリシーを組み合わせる。
さらに,保存された計画分布から選択的に学習するGated Prior Distillationを導入する。これは,現在よりも優れた目標を提供する場合にのみ可能であり,完全な再分析を必要とせず,安定した計画データの影響を低減できる。
連続制御ベンチマーク全体において、GEM-MPCはより低い計算予算の下で、既存の計画ベースのベースラインを一貫して上回っている。
関連論文リスト
- CAST: Alternating State-Value Targets and Expanded Policy Gradients for Model-Based Reinforcement Learning [6.586422759470378]
提案するCAST(Critic with Alternating State-value Target)は、プランナー誘導行動を用いて価値学習を改善しつつ、現在の方針で価値見積を規則化する。
我々はDeepMind ControlとHumanoidBench SuitesのCASTをいくつかの最先端手法に対して評価し、動的ハンドスタンドを実行する物理Unitree Go2rupedへの転送に成功したことを示す。
論文 参考訳（メタデータ） (2026-09-08T15:05:16Z) - When to Plan: Learning to Select Between Reactive Control and Deliberative Planning [11.723839544878244]
本稿では,リアクティブ・ポリティクス不確実性スコアの条件付けにより計算を割り当てるメタ推論ポリシーをトレーニングするためのRL法を提案する。
動作計画とナビゲーション環境に関する実証的研究を行い、この設計により、反応ポリシが適切なアクションを提供する場合と、決定時間プランニングが必要な場合とを、メタ推論ポリシーが学習できることを示す。
論文 参考訳（メタデータ） (2026-07-17T18:13:38Z) - PlanningBench: Generating Scalable and Verifiable Planning Data for Evaluating and Training Large Language Models [52.48858778580074]
計画は大規模言語モデル(LLM)の基本的な機能である
PlanningBenchは、評価とトレーニングの両方のためのスケーラブルで多様な検証可能な計画データを生成するためのフレームワークである。
論文 参考訳（メタデータ） (2026-05-20T08:10:15Z) - Soft MPCritic: Amortized Model Predictive Value Iteration [2.217971863441725]
本稿では,(ソフト)値空間で学習するRL-MPCフレームワークであるMPCriticを提案する。
ソフトMPCriticはモデル予測経路積分制御(MPPI)によりMPCをインスタンス化する
オンライン観測から計画されたオープンループアクションシーケンスをリサイクルする,アモータイズされたウォームスタート戦略を導入する。
論文 参考訳（メタデータ） (2026-04-01T23:35:00Z) - Bootstrap Off-policy with World Model [59.129118672069644]
ブートストラップループを通じて計画と非政治学習を緊密に統合するフレームワークであるBOOMを提案する。
BOOMは、トレーニングの安定性と最終的なパフォーマンスの両方において、最先端の結果を達成する。
論文 参考訳（メタデータ） (2025-11-01T06:33:04Z) - A KL-regularization framework for learning to plan with adaptive priors [1.0246259631050245]
政策最適化モデル予測制御(PO-MPC)を導入する。
PO-MPCは、政策最適化の先駆けとしてプランナーの行動分布を統合する。
実験により,これらの拡張構成により,大幅な性能向上が得られた。
論文 参考訳（メタデータ） (2025-10-05T16:45:38Z) - Theoretically Guaranteed Policy Improvement Distilled from Model-Based
Planning [64.10794426777493]
モデルベース強化学習(RL)は、様々な連続制御タスクにおいて顕著な成功を収めた。
近年のプラクティスでは、最適化されたアクションシーケンスをトレーニングフェーズ中にRLポリシーに蒸留する傾向にある。
我々は,モデルに基づく計画から政策への蒸留アプローチを開発する。
論文 参考訳（メタデータ） (2023-07-24T16:52:31Z) - Imitating Graph-Based Planning with Goal-Conditioned Policies [72.61631088613048]
本稿では,目標目標条件ポリシにサブゴール条件ポリシを蒸留する自己シミュレーション方式を提案する。
提案手法は,既存の目標条件付きRL手法のサンプル効率を大幅に向上させることができることを実証的に示す。
論文 参考訳（メタデータ） (2023-03-20T14:51:10Z) - UAV Path Planning Employing MPC- Reinforcement Learning Method for
search and rescue mission [0.0]
複雑で不確実な環境での無人航空路計画(UA V)の課題に取り組む。
本稿では,Long-Short-Term Memory (LSTM) ネットワークに基づくモデル予測制御(MPC)を,Deep Deterministic Policy Gradientアルゴリズムに統合して設計する。
論文 参考訳（メタデータ） (2023-02-21T13:39:40Z) - Strategic Decision-Making in the Presence of Information Asymmetry:
Provably Efficient RL with Algorithmic Instruments [55.41685740015095]
我々は,戦略MDPと呼ばれる新しいモデルの下で,オフライン強化学習について検討する。
アルゴリズムiNstruments(PLAN)を用いたペシミスティックポリシー学習法を提案する。
論文 参考訳（メタデータ） (2022-08-23T15:32:44Z) - Divide-and-Conquer Monte Carlo Tree Search For Goal-Directed Planning [78.65083326918351]
暗黙的な逐次計画の仮定に代わるものを検討する。
本稿では,最適計画の近似を行うため,Divide-and-Conquer Monte Carlo Tree Search (DC-MCTS)を提案する。
計画順序に対するこのアルゴリズム的柔軟性は,グリッドワールドにおけるナビゲーションタスクの改善に繋がることを示す。
論文 参考訳（メタデータ） (2020-04-23T18:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。