論文の概要: Learning Quadruped Locomotion Using Differentiable Simulation

• arxiv url: http://arxiv.org/abs/2403.14864v3
• Date: Mon, 14 Oct 2024 17:57:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 21:41:40.513529
• Title: Learning Quadruped Locomotion Using Differentiable Simulation
• Title（参考訳）: 微分可能シミュレーションによる四足歩行の学習
• Authors: Yunlong Song, Sangbae Kim, Davide Scaramuzza,
• Abstract要約: 微分可能シミュレーションは、高速収束と安定した訓練を約束する。 本研究はこれらの課題を克服するための新しい微分可能シミュレーションフレームワークを提案する。 我々のフレームワークは並列化なしで数分で四足歩行を学習できる。
• 参考スコア（独自算出の注目度）: 31.80380408663424
• License:
• Abstract: This work explores the potential of using differentiable simulation for learning quadruped locomotion. Differentiable simulation promises fast convergence and stable training by computing low-variance first-order gradients using robot dynamics. However, its usage for legged robots is still limited to simulation. The main challenge lies in the complex optimization landscape of robotic tasks due to discontinuous dynamics. This work proposes a new differentiable simulation framework to overcome these challenges. Our approach combines a high-fidelity, non-differentiable simulator for forward dynamics with a simplified surrogate model for gradient backpropagation. This approach maintains simulation accuracy by aligning the robot states from the surrogate model with those of the precise, non-differentiable simulator. Our framework enables learning quadruped walking in simulation in minutes without parallelization. When augmented with GPU parallelization, our approach allows the quadruped robot to master diverse locomotion skills on challenging terrains in minutes. We demonstrate that differentiable simulation outperforms a reinforcement learning algorithm (PPO) by achieving significantly better sample efficiency while maintaining its effectiveness in handling large-scale environments. Our method represents one of the first successful applications of differentiable simulation to real-world quadruped locomotion, offering a compelling alternative to traditional RL methods.
• Abstract（参考訳）: 本研究は,四足歩行学習における微分可能シミュレーションの可能性を探るものである。 微分可能シミュレーションはロボット力学を用いた低分散1次勾配の計算による高速収束と安定トレーニングを約束する。 しかし、脚付きロボットの使用は依然としてシミュレーションに限られている。 主な課題は、不連続なダイナミクスによるロボットタスクの複雑な最適化環境にある。 本研究はこれらの課題を克服するための新しい微分可能シミュレーションフレームワークを提案する。 我々の手法は、フォワードダイナミクスのための高忠実で微分不可能なシミュレータと、勾配のバックプロパゲーションのための単純化されたサロゲートモデルを組み合わせる。 提案手法は,ロボット状態を代理モデルから正確に非微分可能シミュレータのものと整合させることにより,シミュレーション精度を維持する。 我々のフレームワークは並列化なしで数分で四足歩行を学習できる。 GPUの並列化による拡張では、四足歩行ロボットは、挑戦的な地形で数分で多様な移動スキルを習得できる。 大規模環境の処理効率を維持しつつ, サンプル効率を大幅に向上させることにより, 微分可能シミュレーションが強化学習アルゴリズム(PPO)より優れていることを示す。 本手法は,従来のRL法に代えて,実世界の四足歩行に微分可能シミュレーションを応用した最初の成功例の1つである。

関連論文リスト

• DiffSim2Real: Deploying Quadrupedal Locomotion Policies Purely Trained in Differentiable Simulation [35.76143996968696]
  微分可能シミュレータから解析勾配で学習したロコモーションポリシーを実世界へ移動させることが可能であることを示す。 私たちの成功の重要な要因は、情報的勾配と物理的精度を組み合わせたスムーズな接触モデルです。 本物のクアッドペダルロボットが、独自のシミュレーションでトレーニングをした後で、独創的になれるのは、これが初めてだ。
  論文  参考訳（メタデータ） (2024-11-04T15:43:57Z)
• DrEureka: Language Model Guided Sim-To-Real Transfer [64.14314476811806]
  シミュレーションで学んだ政策を現実世界に伝達することは、ロボットのスキルを大規模に獲得する上で有望な戦略である。 本稿では,Large Language Models (LLMs) を用いてシム・トゥ・リアル設計の自動化と高速化を行う。 本手法では,ヨガボールの上を歩行する四足歩行や四足歩行など,新しいロボットタスクを解くことができる。
  論文  参考訳（メタデータ） (2024-06-04T04:53:05Z)
• DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model [72.66465487508556]
  DiffGenは、微分可能な物理シミュレーション、微分可能なレンダリング、ビジョン言語モデルを統合する新しいフレームワークである。 言語命令の埋め込みとシミュレートされた観察の埋め込みとの距離を最小化することにより、現実的なロボットデモを生成することができる。 実験によると、DiffGenを使えば、人間の努力やトレーニング時間を最小限に抑えて、ロボットデータを効率よく、効果的に生成できる。
  論文  参考訳（メタデータ） (2024-05-12T15:38:17Z)
• Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous Driving Research [76.93956925360638]
  Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。 TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。 我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-10-12T20:49:15Z)
• Continual learning autoencoder training for a particle-in-cell simulation via streaming [52.77024349608834]
  今後のエクサスケール時代は 次世代の物理シミュレーションを 高解像度で提供します これらのシミュレーションは高解像度であり、ディスク上に大量のシミュレーションデータを格納することはほぼ不可能であるため、機械学習モデルのトレーニングに影響を与える。 この研究は、ディスク上のデータなしで、実行中のシミュレーションにニューラルネットワークを同時にトレーニングするアプローチを示す。
  論文  参考訳（メタデータ） (2022-11-09T09:55:14Z)
• Obstacle Avoidance for Robotic Manipulator in Joint Space via Improved Proximal Policy Optimization [6.067589886362815]
  本稿では,6-DoFマニピュレータのタスク空間から関節空間にマップするために,改良されたPPOアルゴリズムを用いて深層ニューラルネットワークを訓練する。 実ロボットでそのようなタスクを訓練するのは時間を要するので、モデルを訓練するためのシミュレーション環境を開発する。 実験結果から,ロボットは非構造環境下で1つの目標をトラッキングしたり,複数の目標に到達することができた。
  論文  参考訳（メタデータ） (2022-10-03T10:21:57Z)
• Towards Learned Simulators for Cell Migration [2.5331228143087565]
  細胞力学のための神経シミュレーターは、実験室実験や従来の方法を拡張して、細胞と物理的環境との相互作用の理解を高めることができる。 本稿では,単一細胞移動のダイナミクスを再現できる自己回帰確率モデルを提案する。 標準の単段階学習手法が不整合安定性をもたらすだけでなく,ダイナミクスの側面を正確に把握できないことも観察した。
  論文  参考訳（メタデータ） (2022-10-02T14:01:09Z)
• Robot Learning from Randomized Simulations: A Review [59.992761565399185]
  ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。 最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。 本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
  論文  参考訳（メタデータ） (2021-11-01T13:55:41Z)
• PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics [89.81550748680245]
  PasticineLabと呼ばれる新しい微分可能な物理ベンチマークを導入する。 各タスクにおいて、エージェントはマニピュレータを使用して、プラスチックを所望の構成に変形させる。 本稿では,既存の強化学習(RL)手法と勾配に基づく手法について評価する。
  論文  参考訳（メタデータ） (2021-04-07T17:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。