論文の概要: Learning Loco-Manipulation From SMPC Demonstrations With Sparse Offline-to-Online RL
- arxiv url: http://arxiv.org/abs/2608.12063v1
- Date: Wed, 12 Aug 2026 13:48:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.597417
- Title: Learning Loco-Manipulation From SMPC Demonstrations With Sparse Offline-to-Online RL
- Title（参考訳）: Sparse Offline-to-Online RLによるSMPCデモからのロコマニピュレーションの学習
- Abstract要約: 強化学習(Reinforcement Learning, RL)は、ロボットの自律性には不可欠だが、複雑なタスクにスケールすることは、時間と労力を要する。
我々は、純粋にスパースなタスク報酬を使い、新しいスキルを学ぶのに必要な時間を劇的に削減し、手動のチューニングを不要にすることで、オフポリティクスのRLエージェントをトレーニングする方法を示す。
我々は、腕を装着したSpot四足歩行とG1ヒューマノイドを含む、様々な形態の複雑なロコ操作技術をうまく展開することで、この枠組みの堅牢性を検証する。
- 参考スコア（独自算出の注目度）: 11.048264771623836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Integrating locomotion and manipulation is essential for robot autonomy, but scaling standard Reinforcement Learning (RL) to complex tasks is severely bottlenecked by the slow, manual process of dense reward shaping. To bypass this limitation, we leverage Sample-based Model Predictive Control (SMPC) entirely in simulation as an automated, rapidly tunable expert to generate massive offline datasets. Because this data solves the fundamental exploration problem, we can train an off-policy RL agent using purely sparse task rewards, drastically reducing the time required to learn new skills and eliminating the need for manual tuning. Integrating this high-level agent with a low-level dynamic stability controller yields more optimal behaviors that strictly align with true task objectives, ultimately allowing the learned policies to surpass the original optimal control teacher. We validate the robustness of this sim-to-real framework by successfully deploying complex loco-manipulation skills across different morphologies, including an arm-equipped Spot quadruped and a G1 humanoid.
- Abstract（参考訳）: ロボットの自律性には、移動と操作の統合が不可欠だが、複雑なタスクへの標準強化学習(RL)のスケーリングは、密集した報酬形成の遅い手作業プロセスによって著しくボトルネックとなる。
この制限を回避するために、サンプルベースのモデル予測制御(SMPC)を完全にシミュレーションで活用し、自動化された高速チューニング可能なエキスパートとして、大規模なオフラインデータセットを生成する。
このデータは基本的な探索問題を解くため、純粋にスパースなタスク報酬を使用して、外部のRLエージェントを訓練することができ、新しいスキルを学ぶのに必要な時間を劇的に削減し、手動チューニングの必要性をなくすことができる。
この高レベルエージェントを低レベルな動的安定制御器と統合すると、真のタスク目標と厳密に整合するより最適な動作が得られ、最終的には学習されたポリシーが元の最適制御教師を超越する。
我々は、腕を装着したSpot四重対とG1ヒューマノイドを含む様々な形態の複雑なロコ操作技術をうまく展開することで、このsim-to-realフレームワークのロバスト性を検証する。
関連論文リスト
- ACLM: ADMM-Based Distributed Model Predictive Control for Collaborative Loco-Manipulation [9.708461585583791]
重荷のロコ操作による共同輸送は、脚のあるロボットにとって難しいが必須の能力である。
本研究は,ロコマニピュレーションのための分散モデル予測制御フレームワークであるマルチプライアの交互方向法を提案する。
論文 参考訳（メタデータ） (2026-03-07T08:06:51Z) - Scaling Tasks, Not Samples: Mastering Humanoid Control through Multi-Task Model-Based Reinforcement Learning [49.82882141491629]
効果的なオンライン学習は、タスク毎のサンプル数ではなく、タスクの回数を拡大すべきである、と我々は主張する。
この体制はモデルに基づく強化学習の構造上の利点を明らかにしている。
我々は、オンライン学習のためのサンプル効率のよいマルチタスクアルゴリズムである textbfEfficientZero-Multitask (EZ-M) を用いて、このアイデアをインスタンス化する。
論文 参考訳（メタデータ） (2026-03-02T05:07:43Z) - Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。
Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
論文 参考訳（メタデータ） (2025-10-30T11:53:08Z) - Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids [56.892520712892804]
本稿では,ヒューマノイドロボットを訓練して3つの巧妙な操作を行う,実用的なシミュレート・トゥ・リアルなRLレシピを提案する。
未確認のオブジェクトやロバストで適応的な政策行動に対して高い成功率を示す。
論文 参考訳（メタデータ） (2025-02-27T18:59:52Z) - Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [57.278726604424556]
そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。
提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。
ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
論文 参考訳（メタデータ） (2024-09-12T11:50:06Z) - Integrating DeepRL with Robust Low-Level Control in Robotic Manipulators for Non-Repetitive Reaching Tasks [0.24578723416255746]
ロボット工学では、現代の戦略は学習に基づくもので、複雑なブラックボックスの性質と解釈可能性の欠如が特徴である。
本稿では, 深部強化学習(DRL)に基づく衝突のない軌道プランナと, 自動調整型低レベル制御戦略を統合することを提案する。
論文 参考訳（メタデータ） (2024-02-04T15:54:03Z) - Learning to Fly in Seconds [7.259696592534715]
カリキュラム学習と高度に最適化されたシミュレータが,サンプルの複雑さを増し,学習時間の短縮につながることを示す。
我々のフレームワークは、コンシューマ級ラップトップで18秒のトレーニングをした後、直接制御するためのSimulation-to-Real(Sim2Real)転送を可能にする。
論文 参考訳（メタデータ） (2023-11-22T01:06:45Z) - Transfer of Reinforcement Learning-Based Controllers from Model- to
Hardware-in-the-Loop [1.8218298349840023]
強化学習は、自律的な訓練エージェントが複雑な制御タスクを実行する大きな可能性を秘めている。
組み込みシステム機能開発においてRLを効果的に利用するには、生成されたエージェントが現実世界のアプリケーションを扱う必要がある。
本研究は,Transfer Learning(TL)とX-in-the-Loop(XiL)シミュレーションを組み合わせることで,RLエージェントのトレーニングプロセスの高速化に重点を置いている。
論文 参考訳（メタデータ） (2023-10-25T09:13:12Z) - REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous
Manipulation [61.7171775202833]
本稿では,強化学習による巧妙な操作スキルの学習を効率化するシステムを提案する。
我々のアプローチの主な考え方は、サンプル効率のRLとリプレイバッファブートストラップの最近の進歩の統合である。
本システムでは,実世界の学習サイクルを,模倣に基づくピックアップポリシを通じて学習されたリセットを組み込むことで完遂する。
論文 参考訳（メタデータ） (2023-09-06T19:05:31Z) - Combining model-predictive control and predictive reinforcement learning
for stable quadrupedal robot locomotion [0.0]
モデル予測型と予測型強化型学習コントローラの組み合わせによりこれを実現できるかを検討する。
本研究では,両制御手法を組み合わせて,四足歩行ロボットの安定ゲート生成問題に対処する。
論文 参考訳（メタデータ） (2023-07-15T09:22:37Z) - RL + Model-based Control: Using On-demand Optimal Control to Learn Versatile Legged Locomotion [16.800984476447624]
本稿では,モデルに基づく最適制御と強化学習を組み合わせた制御フレームワークを提案する。
我々は、一連の実験を通じて、フレームワークの堅牢性と制御性を検証する。
本フレームワークは,多様な次元を持つロボットに対する制御ポリシーのトレーニングを,無力的に支援する。
論文 参考訳（メタデータ） (2023-05-29T01:33:55Z) - AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。
以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
論文 参考訳（メタデータ） (2020-06-16T17:54:41Z) - Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。
バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2019-12-31T00:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。