論文の概要: Sim-to-Real Transfer for Quadrupedal Locomotion via Terrain Transformer
- arxiv url: http://arxiv.org/abs/2212.07740v2
- Date: Tue, 21 Mar 2023 06:06:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 01:12:08.457889
- Title: Sim-to-Real Transfer for Quadrupedal Locomotion via Terrain Transformer
- Title（参考訳）: 地形変圧器による四足歩行のためのsim-to-real transfer
- Authors: Hang Lai, Weinan Zhang, Xialin He, Chen Yu, Zheng Tian, Yong Yu, Jun
Wang
- Abstract要約: 様々な地形における四足歩行制御のための高容量トランスモデルを提案する。
シミュレーション・トゥ・リアルシナリオにおいてTransformerをよりよく活用するために、オフライン事前学習段階とオンライン修正段階からなる新しい2段階トレーニングフレームワークを提案する。
シミュレーション実験により、TERTはリターン、エネルギー消費、制御のスムーズさの観点から、様々な地形における最先端のベースラインを上回っていることが示された。
- 参考スコア（独自算出の注目度）: 31.581743045813557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep reinforcement learning has recently emerged as an appealing alternative
for legged locomotion over multiple terrains by training a policy in physical
simulation and then transferring it to the real world (i.e., sim-to-real
transfer). Despite considerable progress, the capacity and scalability of
traditional neural networks are still limited, which may hinder their
applications in more complex environments. In contrast, the Transformer
architecture has shown its superiority in a wide range of large-scale sequence
modeling tasks, including natural language processing and decision-making
problems. In this paper, we propose Terrain Transformer (TERT), a high-capacity
Transformer model for quadrupedal locomotion control on various terrains.
Furthermore, to better leverage Transformer in sim-to-real scenarios, we
present a novel two-stage training framework consisting of an offline
pretraining stage and an online correction stage, which can naturally integrate
Transformer with privileged training. Extensive experiments in simulation
demonstrate that TERT outperforms state-of-the-art baselines on different
terrains in terms of return, energy consumption and control smoothness. In
further real-world validation, TERT successfully traverses nine challenging
terrains, including sand pit and stair down, which can not be accomplished by
strong baselines.
- Abstract（参考訳）: 深層強化学習(deep reinforcement learning)は、物理シミュレーションのポリシーをトレーニングし、それを現実世界(すなわちsim-to-real transfer)に転送することで、複数の地形における脚状歩行の魅力的な代替手段として最近登場した。
かなりの進歩にもかかわらず、従来のニューラルネットワークのキャパシティとスケーラビリティはまだ限られており、より複雑な環境での応用を妨げる可能性がある。
対照的にTransformerアーキテクチャは、自然言語処理や意思決定問題を含む広範囲の大規模シーケンスモデリングタスクにおいて、その優位性を示している。
本稿では,様々な地形における四足歩行制御のための高容量変圧器モデルである地形変圧器(tert)を提案する。
さらに,sim-to-realシナリオにおけるトランスフォーマーの活用性を高めるために,オフライン事前トレーニングステージとオンライン修正ステージからなる新しい2段階トレーニングフレームワークを提案する。
シミュレーションにおける大規模な実験により、TERTはリターン、エネルギー消費、制御のスムーズさの観点から、様々な地形における最先端のベースラインを上回っていることが示された。
さらに現実世界の検証では、TERTは砂の穴や階段など9つの困難な地形を横切ることに成功した。
関連論文リスト
- Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。
この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
論文 参考訳（メタデータ） (2024-09-28T13:24:11Z) - Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。
まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。
このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
論文 参考訳（メタデータ） (2024-06-21T13:48:37Z) - Sim-to-Real Transfer of Deep Reinforcement Learning Agents for Online Coverage Path Planning [15.792914346054502]
我々は、カバーパス計画(CPP)のための強化学習エージェント(RL)のSim-to-real転送の課題に取り組む。
シミュレーションされたセンサと障害物を利用しながら、現実のロボットやリアルタイムの側面を含む半仮想環境を通じて、シミュレートと現実のギャップを橋渡しする。
高い推測周波数は、一階マルコフのポリシーをシミュレーションから直接転送することを可能にし、高階のポリシーを微調整することで、sim-to-realのギャップをさらに減らすことができる。
論文 参考訳（メタデータ） (2024-06-07T13:24:19Z) - Transfer Learning Study of Motion Transformer-based Trajectory Predictions [1.2972104025246092]
自動運転における軌道計画は、他の道路利用者の緊急行動を予測することに大きく依存している。
学習ベースの手法は現在、シミュレーションベースの課題において印象的な結果を示している。
本研究は,実世界への効果的な移行を支援するために,計算時間と性能のトレードオフの可能性に関する洞察を提供することを目的としている。
論文 参考訳（メタデータ） (2024-04-12T06:50:32Z) - COLA: Cross-city Mobility Transformer for Human Trajectory Simulation [44.157114416533915]
モデル非依存転送フレームワークを用いた都市間mObiLity trAnsformer (COLA) を開発した。
COLAはトランスフォーマーを、都市固有の特性のためのプライベートモジュールと、都市・ユニバーサルモビリティパターンのための共有モジュールに分割する。
実装された都市間ベースラインは,その優位性と有効性を示している。
論文 参考訳（メタデータ） (2024-03-04T07:45:29Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-05-26T00:43:02Z) - On Transforming Reinforcement Learning by Transformer: The Development
Trajectory [97.79247023389445]
Transformerは元々自然言語処理用に開発されたもので、コンピュータビジョンでも大きな成功を収めている。
既存の開発をアーキテクチャ拡張と軌道最適化の2つのカテゴリに分類する。
ロボット操作,テキストベースのゲーム,ナビゲーション,自律運転におけるTRLの主な応用について検討する。
論文 参考訳（メタデータ） (2022-12-29T03:15:59Z) - Learning Vision-Guided Quadrupedal Locomotion End-to-End with
Cross-Modal Transformers [14.509254362627576]
強化学習(RL)を用いた四足歩行課題への取り組みを提案する。
四足歩行のためのエンドツーエンドRL法であるLocoTransformerを導入する。
論文 参考訳（メタデータ） (2021-07-08T17:41:55Z) - Scalable Transformers for Neural Machine Translation [86.4530299266897]
トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。
本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。
スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
論文 参考訳（メタデータ） (2021-06-04T04:04:10Z) - Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。
十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-05-20T17:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。