論文の概要: Learning Quadruped Locomotion Using Differentiable Simulation

• arxiv url: http://arxiv.org/abs/2403.14864v1
• Date: Thu, 21 Mar 2024 22:18:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 18:57:02.162830
• Title: Learning Quadruped Locomotion Using Differentiable Simulation
• Title（参考訳）: 微分可能シミュレーションによる四足歩行の学習
• Authors: Yunlong Song, Sangbae Kim, Davide Scaramuzza,
• Abstract要約: 微分可能シミュレーションはより高速な収束とより安定した訓練を約束する。 我々のフレームワークは、ひとつのシミュレーションロボットを用いて、数分で四足歩行を学習することができる。 われわれのアプローチでは、四足歩行ロボットは、トロット、ペース、バウンド、ガロップなどの多様な移動スキルを、数分で挑戦的な地形で習得できる。
• 参考スコア（独自算出の注目度）: 31.80380408663424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While most recent advancements in legged robot control have been driven by model-free reinforcement learning, we explore the potential of differentiable simulation. Differentiable simulation promises faster convergence and more stable training by computing low-variant first-order gradients using the robot model, but so far, its use for legged robot control has remained limited to simulation. The main challenge with differentiable simulation lies in the complex optimization landscape of robotic tasks due to discontinuities in contact-rich environments, e.g., quadruped locomotion. This work proposes a new, differentiable simulation framework to overcome these challenges. The key idea involves decoupling the complex whole-body simulation, which may exhibit discontinuities due to contact, into two separate continuous domains. Subsequently, we align the robot state resulting from the simplified model with a more precise, non-differentiable simulator to maintain sufficient simulation accuracy. Our framework enables learning quadruped walking in minutes using a single simulated robot without any parallelization. When augmented with GPU parallelization, our approach allows the quadruped robot to master diverse locomotion skills, including trot, pace, bound, and gallop, on challenging terrains in minutes. Additionally, our policy achieves robust locomotion performance in the real world zero-shot. To the best of our knowledge, this work represents the first demonstration of using differentiable simulation for controlling a real quadruped robot. This work provides several important insights into using differentiable simulations for legged locomotion in the real world.
• Abstract（参考訳）: 近年の脚付きロボット制御の進歩はモデルレス強化学習によって促進されているが、我々は微分可能シミュレーションの可能性を探る。 ロボットモデルを用いた低変量1次勾配の計算により、より高速な収束とより安定した訓練を約束するが、これまでは脚付きロボット制御の使用はシミュレーションに限られていた。 微分可能シミュレーションの主な課題は、接触の多い環境、例えば四足歩行における不連続性によるロボットタスクの複雑な最適化環境にある。 この研究は、これらの課題を克服するための、新しい、微分可能なシミュレーションフレームワークを提案する。 鍵となる考え方は、接触による不連続性を示す複雑な全身シミュレーションを2つの別々の連続領域に分離することである。 その後、単純化されたモデルから得られたロボット状態を、より正確で微分不可能なシミュレータと整合させ、十分なシミュレーション精度を維持する。 本フレームワークは,並列化を伴わない単一シミュレーションロボットを用いて,四足歩行を数分で学習することを可能にする。 われわれのアプローチでは、GPUの並列化で強化された場合、四足歩行ロボットは、トロット、ペース、バウンド、ガロップといった多様な移動スキルを数分で挑戦的な地形で習得することができる。 さらに,実世界のゼロショットにおけるロコモーション性能も向上する。 我々の知る限りでは、本研究は実際の四足歩行ロボットを制御するために微分可能シミュレーションを使用した最初の実演である。 この研究は、実世界における足の移動に微分可能なシミュレーションを使用するための重要な洞察を提供する。

関連論文リスト

• Multi-Objective Algorithms for Learning Open-Ended Robotic Problems [1.0124625066746598]
  四足歩行は、自動運転車の普及に不可欠な複雑でオープンな問題である。 従来の強化学習アプローチは、トレーニングの不安定性とサンプルの非効率のため、しばしば不足する。 自動カリキュラム学習機構として多目的進化アルゴリズムを活用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-11T16:26:42Z)
• DiffSim2Real: Deploying Quadrupedal Locomotion Policies Purely Trained in Differentiable Simulation [35.76143996968696]
  微分可能シミュレータから解析勾配で学習したロコモーションポリシーを実世界へ移動させることが可能であることを示す。 私たちの成功の重要な要因は、情報的勾配と物理的精度を組み合わせたスムーズな接触モデルです。 本物のクアッドペダルロボットが、独自のシミュレーションでトレーニングをした後で、独創的になれるのは、これが初めてだ。
  論文  参考訳（メタデータ） (2024-11-04T15:43:57Z)
• DrEureka: Language Model Guided Sim-To-Real Transfer [64.14314476811806]
  シミュレーションで学んだ政策を現実世界に伝達することは、ロボットのスキルを大規模に獲得する上で有望な戦略である。 本稿では,Large Language Models (LLMs) を用いてシム・トゥ・リアル設計の自動化と高速化を行う。 本手法では,ヨガボールの上を歩行する四足歩行や四足歩行など,新しいロボットタスクを解くことができる。
  論文  参考訳（メタデータ） (2024-06-04T04:53:05Z)
• DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model [72.66465487508556]
  DiffGenは、微分可能な物理シミュレーション、微分可能なレンダリング、ビジョン言語モデルを統合する新しいフレームワークである。 言語命令の埋め込みとシミュレートされた観察の埋め込みとの距離を最小化することにより、現実的なロボットデモを生成することができる。 実験によると、DiffGenを使えば、人間の努力やトレーニング時間を最小限に抑えて、ロボットデータを効率よく、効果的に生成できる。
  論文  参考訳（メタデータ） (2024-05-12T15:38:17Z)
• Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous Driving Research [76.93956925360638]
  Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。 TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。 我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-10-12T20:49:15Z)
• Continual learning autoencoder training for a particle-in-cell simulation via streaming [52.77024349608834]
  今後のエクサスケール時代は 次世代の物理シミュレーションを 高解像度で提供します これらのシミュレーションは高解像度であり、ディスク上に大量のシミュレーションデータを格納することはほぼ不可能であるため、機械学習モデルのトレーニングに影響を与える。 この研究は、ディスク上のデータなしで、実行中のシミュレーションにニューラルネットワークを同時にトレーニングするアプローチを示す。
  論文  参考訳（メタデータ） (2022-11-09T09:55:14Z)
• Towards Learned Simulators for Cell Migration [2.5331228143087565]
  細胞力学のための神経シミュレーターは、実験室実験や従来の方法を拡張して、細胞と物理的環境との相互作用の理解を高めることができる。 本稿では,単一細胞移動のダイナミクスを再現できる自己回帰確率モデルを提案する。 標準の単段階学習手法が不整合安定性をもたらすだけでなく,ダイナミクスの側面を正確に把握できないことも観察した。
  論文  参考訳（メタデータ） (2022-10-02T14:01:09Z)
• Robot Learning from Randomized Simulations: A Review [59.992761565399185]
  ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。 最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。 本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
  論文  参考訳（メタデータ） (2021-11-01T13:55:41Z)
• PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics [89.81550748680245]
  PasticineLabと呼ばれる新しい微分可能な物理ベンチマークを導入する。 各タスクにおいて、エージェントはマニピュレータを使用して、プラスチックを所望の構成に変形させる。 本稿では,既存の強化学習(RL)手法と勾配に基づく手法について評価する。
  論文  参考訳（メタデータ） (2021-04-07T17:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。