論文の概要: Efficiently Learning Robust Torque-based Locomotion Through Reinforcement with Model-Based Supervision

• arxiv url: http://arxiv.org/abs/2601.16109v1
• Date: Thu, 22 Jan 2026 16:56:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:40.909295
• Title: Efficiently Learning Robust Torque-based Locomotion Through Reinforcement with Model-Based Supervision
• Title（参考訳）: モデルベーススーパービジョンによる強化によるロバストトルクに基づくロコモーションの学習
• Authors: Yashuai Yan, Tobias Egle, Christian Ott, Dongheui Lee,
• Abstract要約: モデルに基づく二足歩行と残留強化学習を統合した制御フレームワークを提案する。 提案手法は, ランダム化条件におけるロバスト性の向上と一般化を実証する。
• 参考スコア（独自算出の注目度）: 14.246416873754905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a control framework that integrates model-based bipedal locomotion with residual reinforcement learning (RL) to achieve robust and adaptive walking in the presence of real-world uncertainties. Our approach leverages a model-based controller, comprising a Divergent Component of Motion (DCM) trajectory planner and a whole-body controller, as a reliable base policy. To address the uncertainties of inaccurate dynamics modeling and sensor noise, we introduce a residual policy trained through RL with domain randomization. Crucially, we employ a model-based oracle policy, which has privileged access to ground-truth dynamics during training, to supervise the residual policy via a novel supervised loss. This supervision enables the policy to efficiently learn corrective behaviors that compensate for unmodeled effects without extensive reward shaping. Our method demonstrates improved robustness and generalization across a range of randomized conditions, offering a scalable solution for sim-to-real transfer in bipedal locomotion.
• Abstract（参考訳）: 実世界の不確実性の存在下で頑健かつ適応的な歩行を実現するために,モデルに基づく二足歩行と強化学習(RL)を統合した制御フレームワークを提案する。 提案手法では,DCM(Divergent Component of Motion)トラジェクトリ・プランナと全体制御器からなるモデルベース・コントローラを信頼性の高い基本方針として活用する。 不正確な力学モデリングとセンサノイズの不確かさに対処するために、ドメインランダム化を伴うRLを用いて訓練された残留ポリシーを導入する。 重要なことに、我々は、新しい教師付き損失を通じて残留政策を監督するために、訓練中に地平線力学へのアクセスを特権化したモデルベースのオラクルポリシーを採用している。 この監督により、広範に報酬を形成することなく、非モデル化効果を補う補正行動の効率よく学習することができる。 提案手法は,二足歩行におけるシミュレーティブ・トゥ・リアル・トランスファーのスケーラブルな解法として,ランダム化条件におけるロバストネスと一般化の改善を実証する。

関連論文リスト

• CycleRL: Sim-to-Real Deep Reinforcement Learning for Robust Autonomous Bicycle Control [10.350603824555408]
  CycleRLは、堅牢な自律自転車制御のための初めてのシミュレート・トゥ・リアルな深層強化学習フレームワークである。 シミュレーションでは、CycleRLは99.90%のバランス成功率、1.15の低ステアリング追尾誤差、0.18m/sの速度追尾誤差など、かなりの性能を達成する。
  論文  参考訳（メタデータ） (2026-03-16T09:17:51Z)
• Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models [57.006252510102506]
  強化学習(Reinforcement Learning, RL)は、最適な意思決定と制御のための強力なフレームワークである。 本稿では,未知および非線形連続力学系に対する安全性を低くした安全RLを実現するための新しい回復型遮蔽フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-12T22:03:35Z)
• Offline Robotic World Model: Learning Robotic Policies without a Physics Simulator [50.191655141020505]
  強化学習(Reinforcement Learning, RL)は、ロボット制御において目覚ましい能力を示してきたが、高いサンプルの複雑さ、安全性の懸念、そしてシム・トゥ・リアルのギャップのため、依然として困難である。 物理シミュレータに頼らずに政策学習を改善するために不確実性を明示的に推定するモデルベースアプローチであるオフラインロボット世界モデル(RWM-O)を導入する。
  論文  参考訳（メタデータ） (2025-04-23T12:58:15Z)
• Robust Model-Based Reinforcement Learning with an Adversarial Auxiliary Model [2.9109581496560044]
  特定のマルコフ決定過程(MDP)で訓練するRLエージェントは、ほぼ同一のMDPでよく機能するのにしばしば苦労する。 我々は,ロバストMDPの枠組みをモデルベース設定に適用し,新しい学習遷移モデルを導入する。 実験結果から,高次元MuJoCo制御タスクにおけるポリシーロバスト性の顕著な改善が示唆された。
  論文  参考訳（メタデータ） (2024-06-14T12:37:08Z)
• MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot Learning [52.101643259906915]
  本研究では,高次元観測による強化学習におけるオフライン事前学習とオンラインファインチューニングの問題について検討する。 既存のモデルベースオフラインRL法は高次元領域におけるオフラインからオンラインへの微調整には適していない。 本稿では,事前データをモデルベース値拡張とポリシー正則化によって効率的に再利用できるオンラインモデルベース手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T21:04:31Z)
• DTC: Deep Tracking Control [16.2850135844455]
  本研究では,両世界の強靭性,フット配置精度,地形の一般化を両世界の利点と組み合わせたハイブリッド制御アーキテクチャを提案する。 深層ニューラルネットワークポリシは、最適化された足場を追跡することを目的として、シミュレーションでトレーニングされている。 モデルベースに比べて滑りやすい地盤や変形可能な地盤が存在する場合の強靭性を示す。
  論文  参考訳（メタデータ） (2023-09-27T07:57:37Z)
• Evaluating model-based planning and planner amortization for continuous control [79.49319308600228]
  我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。 モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。 モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T12:00:40Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。