論文の概要: Sim-to-Real Transfer for Quadrupedal Locomotion via Terrain Transformer
- arxiv url: http://arxiv.org/abs/2212.07740v1
- Date: Thu, 15 Dec 2022 11:44:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 17:52:57.015438
- Title: Sim-to-Real Transfer for Quadrupedal Locomotion via Terrain Transformer
- Title(参考訳): 地形変圧器による四足歩行のためのsim-to-real transfer
- Authors: Hang Lai, Weinan Zhang, Xialin He, Chen Yu, Zheng Tian, Yong Yu, Jun
Wang
- Abstract要約: 様々な地形における四足歩行制御のための高容量トランスモデルを提案する。
シミュレーション・トゥ・リアルシナリオにおいてTransformerをよりよく活用するために、オフライン事前学習段階とオンライン修正段階からなる新しい2段階トレーニングフレームワークを提案する。
シミュレーション実験により、TERTはリターン、エネルギー消費、制御のスムーズさの観点から、様々な地形における最先端のベースラインを上回っていることが示された。
- 参考スコア(独自算出の注目度): 31.581743045813557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep reinforcement learning has recently emerged as an appealing alternative
for legged locomotion over multiple terrains by training a policy in physical
simulation and then transferring it to the real world (i.e., sim-to-real
transfer). Despite considerable progress, the capacity and scalability of
traditional neural networks are still limited, which may hinder their
applications in more complex environments. In contrast, the Transformer
architecture has shown its superiority in a wide range of large-scale sequence
modeling tasks, including natural language processing and decision-making
problems. In this paper, we propose Terrain Transformer (TERT), a high-capacity
Transformer model for quadrupedal locomotion control on various terrains.
Furthermore, to better leverage Transformer in sim-to-real scenarios, we
present a novel two-stage training framework consisting of an offline
pretraining stage and an online correction stage, which can naturally integrate
Transformer with privileged training. Extensive experiments in simulation
demonstrate that TERT outperforms state-of-the-art baselines on different
terrains in terms of return, energy consumption and control smoothness. In
further real-world validation, TERT successfully traverses nine challenging
terrains, including sand pit and stair down, which can not be accomplished by
strong baselines.
- Abstract(参考訳): 深層強化学習(deep reinforcement learning)は、物理シミュレーションのポリシーをトレーニングし、それを現実世界(すなわちsim-to-real transfer)に転送することで、複数の地形における脚状歩行の魅力的な代替手段として最近登場した。
かなりの進歩にもかかわらず、従来のニューラルネットワークのキャパシティとスケーラビリティはまだ限られており、より複雑な環境での応用を妨げる可能性がある。
対照的にTransformerアーキテクチャは、自然言語処理や意思決定問題を含む広範囲の大規模シーケンスモデリングタスクにおいて、その優位性を示している。
本稿では,様々な地形における四足歩行制御のための高容量変圧器モデルである地形変圧器(tert)を提案する。
さらに,sim-to-realシナリオにおけるトランスフォーマーの活用性を高めるために,オフライン事前トレーニングステージとオンライン修正ステージからなる新しい2段階トレーニングフレームワークを提案する。
シミュレーションにおける大規模な実験により、TERTはリターン、エネルギー消費、制御のスムーズさの観点から、様々な地形における最先端のベースラインを上回っていることが示された。
さらに現実世界の検証では、TERTは砂の穴や階段など9つの困難な地形を横切ることに成功した。
関連論文リスト
- COLA: Cross-city Mobility Transformer for Human Trajectory Simulation [44.157114416533915]
モデル非依存転送フレームワークを用いた都市間mObiLity trAnsformer (COLA) を開発した。
COLAはトランスフォーマーを、都市固有の特性のためのプライベートモジュールと、都市・ユニバーサルモビリティパターンのための共有モジュールに分割する。
実装された都市間ベースラインは,その優位性と有効性を示している。
論文 参考訳(メタデータ) (2024-03-04T07:45:29Z) - RealGen: Retrieval Augmented Generation for Controllable Traffic
Scenarios [62.89459646611976]
RealGenは、トラフィックシナリオ生成のための新しい検索ベースのコンテキスト内学習フレームワークである。
RealGenは、複数の検索されたサンプルの振る舞いを勾配のない方法で組み合わせることで、新しいシナリオを合成する。
このコンテキスト内学習フレームワークは、シナリオを編集する機能を含む多種多様な生成機能を提供する。
論文 参考訳(メタデータ) (2023-12-19T23:11:06Z) - Transformers in Reinforcement Learning: A Survey [7.622978576824539]
トランスフォーマーは自然言語処理、コンピュータビジョン、ロボット工学といった領域に影響を与え、他のニューラルネットワークと比較してパフォーマンスを改善している。
この調査では、トランスフォーマーが強化学習(RL)でどのように使われているかを調査し、不安定なトレーニング、クレジット割り当て、解釈可能性の欠如、部分的可観測性といった課題に対処するための有望な解決策と見なされている。
論文 参考訳(メタデータ) (2023-07-12T07:51:12Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳(メタデータ) (2023-05-26T00:43:02Z) - On Transforming Reinforcement Learning by Transformer: The Development
Trajectory [97.79247023389445]
Transformerは元々自然言語処理用に開発されたもので、コンピュータビジョンでも大きな成功を収めている。
既存の開発をアーキテクチャ拡張と軌道最適化の2つのカテゴリに分類する。
ロボット操作,テキストベースのゲーム,ナビゲーション,自律運転におけるTRLの主な応用について検討する。
論文 参考訳(メタデータ) (2022-12-29T03:15:59Z) - Learning Vision-Guided Quadrupedal Locomotion End-to-End with
Cross-Modal Transformers [14.509254362627576]
強化学習(RL)を用いた四足歩行課題への取り組みを提案する。
四足歩行のためのエンドツーエンドRL法であるLocoTransformerを導入する。
論文 参考訳(メタデータ) (2021-07-08T17:41:55Z) - Scalable Transformers for Neural Machine Translation [86.4530299266897]
トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。
本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。
スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
論文 参考訳(メタデータ) (2021-06-04T04:04:10Z) - RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。
RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
論文 参考訳(メタデータ) (2020-06-16T08:58:07Z) - Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。
十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-05-20T17:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。