論文の概要: Zero-shot Sim2Real Adaptation Across Environments
- arxiv url: http://arxiv.org/abs/2302.04013v1
- Date: Wed, 8 Feb 2023 11:59:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-09 16:39:52.777002
- Title: Zero-shot Sim2Real Adaptation Across Environments
- Title(参考訳): ゼロショットsim2実環境適応
- Authors: Buddhika Laknath Semage, Thommen George Karimpanal, Santu Rana, Svetha
Venkatesh
- Abstract要約: 本稿では,実世界のシミュレートされたポリシーを模倣することを学ぶリバースアクショントランスフォーメーション(RAT)ポリシーを提案する。
RATは、新しい環境へのゼロショット適応を達成するために、Universal Policy Network上にデプロイできる。
- 参考スコア(独自算出の注目度): 45.44896435487879
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Simulation based learning often provides a cost-efficient recourse to
reinforcement learning applications in robotics. However, simulators are
generally incapable of accurately replicating real-world dynamics, and thus
bridging the sim2real gap is an important problem in simulation based learning.
Current solutions to bridge the sim2real gap involve hybrid simulators that are
augmented with neural residual models. Unfortunately, they require a separate
residual model for each individual environment configuration (i.e., a fixed
setting of environment variables such as mass, friction etc.), and thus are not
transferable to new environments quickly. To address this issue, we propose a
Reverse Action Transformation (RAT) policy which learns to imitate simulated
policies in the real-world. Once learnt from a single environment, RAT can then
be deployed on top of a Universal Policy Network to achieve zero-shot
adaptation to new environments. We empirically evaluate our approach in a set
of continuous control tasks and observe its advantage as a few-shot and
zero-shot learner over competing baselines.
- Abstract(参考訳): シミュレーションに基づく学習はしばしば、ロボット工学における強化学習アプリケーションに対する費用効率のよいリコースを提供する。
しかし、シミュレータは現実のダイナミクスを正確に再現できないため、シミュレーションベースの学習において、シム2リアルギャップをブリッジすることは重要な問題である。
sim2realギャップを埋める現在の解決策は、ニューラル残留モデルで強化されたハイブリッドシミュレータを含む。
残念なことに、個々の環境設定(例えば、質量、摩擦などの環境変数の固定設定)に対して別々の残留モデルが必要であるため、新しい環境に素早く移行することはできない。
この問題に対処するために,実世界のシミュレートされたポリシーを模倣することを学ぶリバースアクショントランスフォーメーション(RAT)ポリシーを提案する。
一度単一の環境から学習すると、RATはUniversal Policy Network上にデプロイされ、新しい環境へのゼロショット適応が達成される。
我々は,一連の連続制御タスクにおいて,そのアプローチを経験的に評価し,そのアドバンテージを,競合するベースラインよりも少数およびゼロショット学習者として観察する。
関連論文リスト
- Adaptive Tracking of a Single-Rigid-Body Character in Various
Environments [2.048226951354646]
単剛体キャラクタのシミュレーションに基づく深層強化学習手法を提案する。
中心運動モデル (CDM) を用いて, 全身特性を単一剛体 (SRB) として表現し, 基準運動を追跡する政策を訓練することにより, 様々な未観測環境変化に適応できる政策を得ることができる。
弊社の政策は、超ポータブルラップトップ上で30分以内に効率よく訓練され、学習中に経験されていない環境に対処できることを実証する。
論文 参考訳(メタデータ) (2023-08-14T22:58:54Z) - Provable Sim-to-real Transfer in Continuous Domain with Partial
Observations [39.18274543757048]
シン・トゥ・リアル・トランスファー(英語版)は、シミュレーション環境でRLエージェントを訓練し、実世界で展開する。
実環境における最適政策と競合するシミュレートされた環境から、人気のある頑健な対人訓練アルゴリズムが、ポリシーを学習できることを示す。
論文 参考訳(メタデータ) (2022-10-27T16:37:52Z) - DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to
Reality [64.51295032956118]
我々は人型ロボットの手で頑健な操作を行える政策を訓練する。
本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
論文 参考訳(メタデータ) (2022-10-25T01:51:36Z) - Robot Learning from Randomized Simulations: A Review [59.992761565399185]
ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。
最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。
本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
論文 参考訳(メタデータ) (2021-11-01T13:55:41Z) - Sim and Real: Better Together [47.14469055555684]
シミュレーションと実環境とのインタラクションの両方から同時に学習する方法を実証する。
本稿では,高いスループットから多数のサンプルのバランスをとるアルゴリズムを提案するが,精度は低い。
このような多環境相互作用を理論的に解析し、新しい理論的なリプレイバッファ解析により収束特性を提供する。
論文 参考訳(メタデータ) (2021-10-01T14:30:03Z) - Zero-Shot Reinforcement Learning on Graphs for Autonomous Exploration
Under Uncertainty [6.42522897323111]
シミュレーション環境で高性能探査政策を自己学習するための枠組みを提案する。
本稿では,グラフニューラルネットワークと深層強化学習を併用した新しい手法を提案する。
論文 参考訳(メタデータ) (2021-05-11T02:42:17Z) - TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。
特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。
TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
論文 参考訳(メタデータ) (2021-01-17T00:29:30Z) - Reactive Long Horizon Task Execution via Visual Skill and Precondition
Models [59.76233967614774]
シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。
シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
論文 参考訳(メタデータ) (2020-11-17T15:24:01Z) - Sim-to-Real Transfer with Incremental Environment Complexity for
Reinforcement Learning of Depth-Based Robot Navigation [1.290382979353427]
段階的環境複雑性を用いたソフト・アクター・クリティカル(SAC)トレーニング戦略を提案し,実世界における追加トレーニングの必要性を大幅に低減した。
アプリケーションは深度に基づくマップレスナビゲーションで、移動ロボットは、事前のマッピング情報なしで、散らかった環境で所定の経路点に到達すべきである。
論文 参考訳(メタデータ) (2020-04-30T10:47:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。