論文の概要: Accelerating and Scaling MPC-Guided Reinforcement Learning for Humanoid Locomotion and Manipulation

• arxiv url: http://arxiv.org/abs/2606.05687v1
• Date: Thu, 04 Jun 2026 04:12:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.549218
• Title: Accelerating and Scaling MPC-Guided Reinforcement Learning for Humanoid Locomotion and Manipulation
• Title（参考訳）: ヒューマノイドロコモーションとマニピュレーションのためのMPC誘導強化学習の高速化とスケーリング
• Authors: Junheng Li, Liang Wu, Sergio A. Esteban, Lizhi Yang, Ján Drgoňa, Aaron D. Ames,
• Abstract要約: ヒューマノイドモーションコントロールでは、モデル予測制御(MPC)は物理的に基底的な予測と制約処理を提供する。 強化学習(RL)は、大規模なシミュレーションを通じて、堅牢な全身スキルを実現する。 本研究は,MPC-RLと呼ばれるヒューマノイド移動・操作のための訓練時間MPC指導の効率化に関する研究である。
• 参考スコア（独自算出の注目度）: 18.311232755848888
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In humanoid motion control, model predictive control (MPC) offers physically grounded prediction and constraint handling, while reinforcement learning (RL) enables robust whole-body skills through large-scale simulation. However, using MPC inside RL often requires time-consuming problem construction or excessive training overhead, making such frameworks difficult to justify in practice. This work studies efficient training-time MPC guidance for humanoid locomotion and manipulation, termed MPC-RL. We introduce a centroidal-dynamics MPC reward formulation that leverages guidance from MPC trajectories in training time. To make this practical in massively parallel RL, we develop $π^n$MPC, a parallel-in-horizon and construction-free batched GPU MPC solver that operates directly on time-varying dynamics to avoid high memory usage and pre-compilation. Through a variety of comparative studies and hardware validations, we have found that MPC-RL achieves superior performance in locomotion and manipulation skills. The code base is available at https://github.com/junhengl/mpc-rl.
• Abstract（参考訳）: ヒューマノイド動作制御では、モデル予測制御(MPC)は、物理的に基礎付けられた予測と制約ハンドリングを提供するが、強化学習(RL)は、大規模なシミュレーションによって、堅牢な全身スキルを実現する。 しかし、RL内でのMPCの使用は、しばしば時間を要する問題構築や過度なトレーニングのオーバーヘッドを必要とするため、そのようなフレームワークを実際に正当化することは困難である。 本研究は,MPC-RLと呼ばれるヒューマノイド移動・操作のための訓練時間MPC指導の効率化に関する研究である。 トレーニング時間におけるMPCトラジェクトリからのガイダンスを活用する,遠心力学MPC報酬の定式化を導入する。 超並列RLでこれを実現するために,高メモリ使用率とプリコンパイルを回避するために,時間変化のダイナミクスを直接操作する並列水平および構成不要なバッチGPU MPCソルバである$π^n$MPCを開発した。 様々な比較研究やハードウェア検証を通じて,MPC-RLは運動能力や操作能力において優れた性能を発揮することが判明した。 コードベースはhttps://github.com/junhengl/mpc-rl.comで公開されている。

関連論文リスト

• Cost-Matching Model Predictive Control for Efficient Reinforcement Learning in Humanoid Locomotion [15.125805248577278]
  モデル予測制御(MPC)に基づく強化学習フレームワークにおいて,最適なヒューマノイド移動のためのコストマッチング手法を提案する。 高忠実度閉ループデータから得られる作用値関数を近似するために、遠心力学を用いたパラメータ化MPC定式化を訓練する。 その結果, モデルミスマッチと外乱に対するロコモーション性能とロバスト性の改善が示された。
  論文  参考訳（メタデータ） (2026-03-30T10:05:15Z)
• Fine-Tuning of Neural Network Approximate MPC without Retraining via Bayesian Optimization [81.35990332700389]
  近似モデル予測制御(AMPC)は、MPCの動作をニューラルネットワークで模倣することを目的としている。 デプロイメント中、基盤となるMPCのパラメータは通常、微調整されなければならない。 最近の研究は、MPC最適化問題の近似感度を用いてAMPCを調整することなく適用することでこの問題に対処している。
  論文  参考訳（メタデータ） (2025-12-16T12:24:08Z)
• MPCritic: A plug-and-play MPC architecture for reinforcement learning [2.217971863441725]
  本稿では,MPCriticについて述べる。MPCriticは機械学習に優しいアーキテクチャで,MPCツールとシームレスに連携する。 MPCriticは、パラメータ化されたMPC問題によって定義された損失状況を利用して、バッチトレーニングステップに対する"ソフト"最適化に重点を置いている。
  論文  参考訳（メタデータ） (2025-04-01T18:07:07Z)
• Learning to Fly in Seconds [7.259696592534715]
  カリキュラム学習と高度に最適化されたシミュレータが,サンプルの複雑さを増し,学習時間の短縮につながることを示す。 我々のフレームワークは、コンシューマ級ラップトップで18秒のトレーニングをした後、直接制御するためのSimulation-to-Real(Sim2Real)転送を可能にする。
  論文  参考訳（メタデータ） (2023-11-22T01:06:45Z)
• Real-time Neural-MPC: Deep Learning Model Predictive Control for Quadrotors and Agile Robotic Platforms [59.03426963238452]
  モデル予測制御パイプライン内の動的モデルとして,大規模で複雑なニューラルネットワークアーキテクチャを効率的に統合するフレームワークであるReal-time Neural MPCを提案する。 ニューラルネットワークを使わずに、最先端のMPCアプローチと比較して、位置追跡誤差を最大82%削減することで、実世界の問題に対する我々のフレームワークの実現可能性を示す。
  論文  参考訳（メタデータ） (2022-03-15T09:38:15Z)
• SurRoL: An Open-source Reinforcement Learning Centered and dVRK Compatible Platform for Surgical Robot Learning [78.76052604441519]
  SurRoLは、ダ・ヴィンチ・リサーチキット(dVRK)と互換性のある外科ロボット学習のためのRL中心のシミュレーションプラットフォームである。 プラットフォームには10の学習ベースの外科的タスクが構築されており、実際の自律的な外科的実行に共通している。 シミュレーションにおいてRLアルゴリズムを用いてSurRoLの評価を行い、奥行き分析を行い、実際のdVRKにトレーニングされたポリシーをデプロイし、実世界でより優れた転送性を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-30T07:43:47Z)
• AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
  提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。 以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-16T17:54:41Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。