論文の概要: Auto-Tuned Sim-to-Real Transfer
- arxiv url: http://arxiv.org/abs/2104.07662v1
- Date: Thu, 15 Apr 2021 17:59:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-16 15:18:00.626511
- Title: Auto-Tuned Sim-to-Real Transfer
- Title(参考訳): オートチューニング型シム・トゥ・リアルトランスファー
- Authors: Yuqing Du, Olivia Watkins, Trevor Darrell, Pieter Abbeel, Deepak
Pathak
- Abstract要約: シミュレーションで訓練されたポリシーは、しばしば現実世界に移されるときに失敗する。
ドメインのランダム化のようなこの問題に取り組む現在のアプローチには、事前の知識とエンジニアリングが必要である。
実世界に合わせてシミュレータシステムパラメータを自動的にチューニングする手法を提案する。
- 参考スコア(独自算出の注目度): 143.44593793640814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Policies trained in simulation often fail when transferred to the real world
due to the `reality gap' where the simulator is unable to accurately capture
the dynamics and visual properties of the real world. Current approaches to
tackle this problem, such as domain randomization, require prior knowledge and
engineering to determine how much to randomize system parameters in order to
learn a policy that is robust to sim-to-real transfer while also not being too
conservative. We propose a method for automatically tuning simulator system
parameters to match the real world using only raw RGB images of the real world
without the need to define rewards or estimate state. Our key insight is to
reframe the auto-tuning of parameters as a search problem where we iteratively
shift the simulation system parameters to approach the real-world system
parameters. We propose a Search Param Model (SPM) that, given a sequence of
observations and actions and a set of system parameters, predicts whether the
given parameters are higher or lower than the true parameters used to generate
the observations. We evaluate our method on multiple robotic control tasks in
both sim-to-sim and sim-to-real transfer, demonstrating significant improvement
over naive domain randomization. Project videos and code at
https://yuqingd.github.io/autotuned-sim2real/
- Abstract(参考訳): シミュレーションでトレーニングされたポリシは,実世界のダイナミクスや視覚特性を正確に把握できない‘現実のギャップ’のため,実世界に移行すると失敗することが多い。
ドメインのランダム化のようなこの問題に対処するための現在のアプローチは、システムパラメータをどの程度ランダム化するかを決定するために、事前の知識と工学を必要としている。
本稿では,実世界の生のRGB画像のみを用いて,報酬や推定状態を定義することなく,実世界に合わせてシミュレータシステムパラメータを自動調整する手法を提案する。
我々の重要な洞察は、パラメータの自動チューニングを探索問題として再構成し、シミュレーションシステムパラメータを現実のシステムパラメータに反復的にシフトさせることである。
本研究では,一連の観測と行動とシステムパラメータが与えられた場合,与えられたパラメータが観測に使用される真のパラメータよりも高いか低いかを予測するサーチパラムモデル(spm)を提案する。
sim-to-simとsim-to-realの両方における複数のロボット制御タスクにおける本手法の評価を行った。
project video and code at https://yuqingd.github.io/autotuned-sim2real/
関連論文リスト
- Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。
しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。
視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
論文 参考訳(メタデータ) (2023-07-28T05:47:24Z) - TrafficBots: Towards World Models for Autonomous Driving Simulation and
Motion Prediction [149.5716746789134]
我々は,データ駆動型交通シミュレーションを世界モデルとして定式化できることを示した。
動作予測とエンドツーエンドの運転に基づくマルチエージェントポリシーであるTrafficBotsを紹介する。
オープンモーションデータセットの実験は、TrafficBotsが現実的なマルチエージェント動作をシミュレートできることを示している。
論文 参考訳(メタデータ) (2023-03-07T18:28:41Z) - Inferring Articulated Rigid Body Dynamics from RGBD Video [18.154013621342266]
我々は,逆レンダリングと微分可能なシミュレーションを組み合わせるパイプラインを導入し,実世界の調音機構のディジタルツインを作成する。
本手法はロボットが操作する関節機構のキネマティックツリーを正確に再構築する。
論文 参考訳(メタデータ) (2022-03-20T08:19:02Z) - Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。
連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。
我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
論文 参考訳(メタデータ) (2021-11-15T18:50:04Z) - Understanding Domain Randomization for Sim-to-real Transfer [41.33483293243257]
本稿では,シミュレータを調整可能なパラメータを持つMDPの集合としてモデル化する,sim-to-realトランスファーの理論的枠組みを提案する。
実世界のトレーニングサンプルを使わずに, 穏やかな条件下で, sim-to-realトランスファーが成功できることを実証する。
論文 参考訳(メタデータ) (2021-10-07T07:45:59Z) - TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。
特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。
TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
論文 参考訳(メタデータ) (2021-01-17T00:29:30Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳(メタデータ) (2020-07-27T17:46:59Z) - Online Parameter Estimation for Safety-Critical Systems with Gaussian
Processes [6.122161391301866]
オンラインパラメータ推定のためのガウス過程(GP)に基づくベイズ最適化フレームワークを提案する。
パラメータ空間の応答面上の効率的な探索戦略を用いて、最小限の機能評価で大域最適解を求める。
我々は,パラメータの変化を考慮したシミュレーションにおいて,アクティベートされた平面振子と安全臨界振子について実演する。
論文 参考訳(メタデータ) (2020-02-18T20:38:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。