論文の概要: Zero-shot Sim2Real Adaptation Across Environments

• arxiv url: http://arxiv.org/abs/2302.04013v1
• Date: Wed, 8 Feb 2023 11:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-09 16:39:52.777002
• Title: Zero-shot Sim2Real Adaptation Across Environments
• Title（参考訳）: ゼロショットsim2実環境適応
• Authors: Buddhika Laknath Semage, Thommen George Karimpanal, Santu Rana, Svetha Venkatesh
• Abstract要約: 本稿では,実世界のシミュレートされたポリシーを模倣することを学ぶリバースアクショントランスフォーメーション(RAT)ポリシーを提案する。 RATは、新しい環境へのゼロショット適応を達成するために、Universal Policy Network上にデプロイできる。
• 参考スコア（独自算出の注目度）: 45.44896435487879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simulation based learning often provides a cost-efficient recourse to reinforcement learning applications in robotics. However, simulators are generally incapable of accurately replicating real-world dynamics, and thus bridging the sim2real gap is an important problem in simulation based learning. Current solutions to bridge the sim2real gap involve hybrid simulators that are augmented with neural residual models. Unfortunately, they require a separate residual model for each individual environment configuration (i.e., a fixed setting of environment variables such as mass, friction etc.), and thus are not transferable to new environments quickly. To address this issue, we propose a Reverse Action Transformation (RAT) policy which learns to imitate simulated policies in the real-world. Once learnt from a single environment, RAT can then be deployed on top of a Universal Policy Network to achieve zero-shot adaptation to new environments. We empirically evaluate our approach in a set of continuous control tasks and observe its advantage as a few-shot and zero-shot learner over competing baselines.
• Abstract（参考訳）: シミュレーションに基づく学習はしばしば、ロボット工学における強化学習アプリケーションに対する費用効率のよいリコースを提供する。 しかし、シミュレータは現実のダイナミクスを正確に再現できないため、シミュレーションベースの学習において、シム2リアルギャップをブリッジすることは重要な問題である。 sim2realギャップを埋める現在の解決策は、ニューラル残留モデルで強化されたハイブリッドシミュレータを含む。 残念なことに、個々の環境設定(例えば、質量、摩擦などの環境変数の固定設定)に対して別々の残留モデルが必要であるため、新しい環境に素早く移行することはできない。 この問題に対処するために,実世界のシミュレートされたポリシーを模倣することを学ぶリバースアクショントランスフォーメーション(RAT)ポリシーを提案する。 一度単一の環境から学習すると、RATはUniversal Policy Network上にデプロイされ、新しい環境へのゼロショット適応が達成される。 我々は,一連の連続制御タスクにおいて,そのアプローチを経験的に評価し,そのアドバンテージを,競合するベースラインよりも少数およびゼロショット学習者として観察する。

関連論文リスト

• Overcoming the Sim-to-Real Gap: Leveraging Simulation to Learn to Explore for Real-World RL [25.991354823569033]
  多くの制度において、直接シム2リアルトランスファーは失敗する可能性があるが、シミュレータを使って一連のエフェクト探索ポリシーを学習できることが示される。 特に、低ランクのMDPの設定においては、これらの探索政策と単純で実践的なアプローチが結合していることが示される。 これは、シミュレーション転送が直接sim2real転送が失敗する環境で強化学習において証明可能な利益をもたらすという最初の証拠である。
  論文  参考訳（メタデータ） (2024-10-26T19:12:27Z)
• Sim-to-Real Transfer of Deep Reinforcement Learning Agents for Online Coverage Path Planning [15.792914346054502]
  我々は、カバーパス計画(CPP)のための強化学習エージェント(RL)のSim-to-real転送の課題に取り組む。 シミュレーションされたセンサと障害物を利用しながら、現実のロボットやリアルタイムの側面を含む半仮想環境を通じて、シミュレートと現実のギャップを橋渡しする。 高い推測周波数は、一階マルコフのポリシーをシミュレーションから直接転送することを可能にし、高階のポリシーを微調整することで、sim-to-realのギャップをさらに減らすことができる。
  論文  参考訳（メタデータ） (2024-06-07T13:24:19Z)
• Evaluating Real-World Robot Manipulation Policies in Simulation [91.55267186958892]
  実環境と模擬環境の制御と視覚的格差は、信頼性のある模擬評価の鍵となる課題である。 実環境に完全忠実なデジタル双生児を作らなくても、これらのギャップを軽減できる手法を提案する。 シミュレーション環境の集合体であるSIMPLERを作成した。
  論文  参考訳（メタデータ） (2024-05-09T17:30:16Z)
• Adaptive Tracking of a Single-Rigid-Body Character in Various Environments [2.048226951354646]
  単剛体キャラクタのシミュレーションに基づく深層強化学習手法を提案する。 中心運動モデル (CDM) を用いて, 全身特性を単一剛体 (SRB) として表現し, 基準運動を追跡する政策を訓練することにより, 様々な未観測環境変化に適応できる政策を得ることができる。 弊社の政策は、超ポータブルラップトップ上で30分以内に効率よく訓練され、学習中に経験されていない環境に対処できることを実証する。
  論文  参考訳（メタデータ） (2023-08-14T22:58:54Z)
• Provable Sim-to-real Transfer in Continuous Domain with Partial Observations [39.18274543757048]
  シン・トゥ・リアル・トランスファー(英語版)は、シミュレーション環境でRLエージェントを訓練し、実世界で展開する。 実環境における最適政策と競合するシミュレートされた環境から、人気のある頑健な対人訓練アルゴリズムが、ポリシーを学習できることを示す。
  論文  参考訳（メタデータ） (2022-10-27T16:37:52Z)
• Robot Learning from Randomized Simulations: A Review [59.992761565399185]
  ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。 最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。 本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
  論文  参考訳（メタデータ） (2021-11-01T13:55:41Z)
• Sim and Real: Better Together [47.14469055555684]
  シミュレーションと実環境とのインタラクションの両方から同時に学習する方法を実証する。 本稿では,高いスループットから多数のサンプルのバランスをとるアルゴリズムを提案するが,精度は低い。 このような多環境相互作用を理論的に解析し、新しい理論的なリプレイバッファ解析により収束特性を提供する。
  論文  参考訳（メタデータ） (2021-10-01T14:30:03Z)
• TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
  リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。 特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
  論文  参考訳（メタデータ） (2021-01-17T00:29:30Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• Sim-to-Real Transfer with Incremental Environment Complexity for Reinforcement Learning of Depth-Based Robot Navigation [1.290382979353427]
  段階的環境複雑性を用いたソフト・アクター・クリティカル(SAC)トレーニング戦略を提案し,実世界における追加トレーニングの必要性を大幅に低減した。 アプリケーションは深度に基づくマップレスナビゲーションで、移動ロボットは、事前のマッピング情報なしで、散らかった環境で所定の経路点に到達すべきである。
  論文  参考訳（メタデータ） (2020-04-30T10:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。