論文の概要: Predicting Sim-to-Real Transfer with Probabilistic Dynamics Models
- arxiv url: http://arxiv.org/abs/2009.12864v1
- Date: Sun, 27 Sep 2020 15:06:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 03:28:25.087084
- Title: Predicting Sim-to-Real Transfer with Probabilistic Dynamics Models
- Title（参考訳）: 確率論的ダイナミクスモデルによる同時現実移動予測
- Authors: Lei M. Zhang, Matthias Plappert, Wojciech Zaremba
- Abstract要約: 本稿では,RL ポリシーの sim-to-real 転送性能を予測する手法を提案する。
確率力学モデルはポリシーに沿って訓練され、実世界の軌道の固定セットで評価される。
- 参考スコア（独自算出の注目度）: 3.7692466417039814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a method to predict the sim-to-real transfer performance of RL
policies. Our transfer metric simplifies the selection of training setups (such
as algorithm, hyperparameters, randomizations) and policies in simulation,
without the need for extensive and time-consuming real-world rollouts. A
probabilistic dynamics model is trained alongside the policy and evaluated on a
fixed set of real-world trajectories to obtain the transfer metric. Experiments
show that the transfer metric is highly correlated with policy performance in
both simulated and real-world robotic environments for complex manipulation
tasks. We further show that the transfer metric can predict the effect of
training setups on policy transfer performance.
- Abstract（参考訳）: 本稿では,RL ポリシーの sim-to-real 転送性能を予測する手法を提案する。
我々の移動距離は、シミュレーションにおけるトレーニング設定(アルゴリズム、ハイパーパラメータ、ランダム化など)とポリシーの選択を、広範囲で時間を要する実世界のロールアウトを必要とせずに単純化する。
確率力学モデルはポリシーに沿って訓練され、実世界の軌道の固定セットで評価され、移動距離を得る。
実験により,複雑な操作作業を行うためのシミュレーション環境と実世界のロボット環境の両方において,トランスファーメトリックはポリシー性能と高い相関性を示す。
さらに、政策伝達性能に対するトレーニング設定の影響を予測することができることを示す。
関連論文リスト
- LoopSR: Looping Sim-and-Real for Lifelong Policy Adaptation of Legged Robots [20.715834172041763]
本稿では,生涯にわたるポリシー適応フレームワークであるLoopSRを提案する。
さらなる改善のためにシミュレーションで現実世界の環境を再構築する。
継続的なトレーニングを活用することで、LoopSRは強力なベースラインに比べて優れたデータ効率を達成する。
論文 参考訳（メタデータ） (2024-09-26T16:02:25Z) - Prompt to Transfer: Sim-to-Real Transfer for Traffic Signal Control with
Prompt Learning [4.195122359359966]
大規模言語モデル(LLM)は大量知識に基づいて訓練されており、驚くべき推論能力を備えていることが判明した。
本研究では,LLMを利用してシステムダイナミクスの理解と解析を行う。
論文 参考訳（メタデータ） (2023-08-28T03:49:13Z) - Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。
しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。
視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
論文 参考訳（メタデータ） (2023-07-28T05:47:24Z) - Uncertainty-aware Grounded Action Transformation towards Sim-to-Real
Transfer for Traffic Signal Control [3.6216188129806643]
本稿では,UGAT と呼ばれる実世界のシミュレーション(シミュレート・トゥ・リアル)トランスファー手法を提案する。
本手法は,実世界における移動RLポリシーの性能を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2023-07-23T17:35:49Z) - TrafficBots: Towards World Models for Autonomous Driving Simulation and
Motion Prediction [149.5716746789134]
我々は,データ駆動型交通シミュレーションを世界モデルとして定式化できることを示した。
動作予測とエンドツーエンドの運転に基づくマルチエージェントポリシーであるTrafficBotsを紹介する。
オープンモーションデータセットの実験は、TrafficBotsが現実的なマルチエージェント動作をシミュレートできることを示している。
論文 参考訳（メタデータ） (2023-03-07T18:28:41Z) - AdaptSim: Task-Driven Simulation Adaptation for Sim-to-Real Transfer [10.173835871228718]
AdaptSimは、ターゲット(現実)環境でのタスクパフォーマンスの最適化を目的としている。
まず、強化学習を用いたシミュレーションにおける適応ポリシーをメタラーニングする。
次に、ポリシートレーニングのための新しいシミュレーションパラメータ分布を推定することにより、反復的実世界の適応を行う。
論文 参考訳（メタデータ） (2023-02-09T19:10:57Z) - DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to
Reality [64.51295032956118]
我々は人型ロボットの手で頑健な操作を行える政策を訓練する。
本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
論文 参考訳（メタデータ） (2022-10-25T01:51:36Z) - Auto-Tuned Sim-to-Real Transfer [143.44593793640814]
シミュレーションで訓練されたポリシーは、しばしば現実世界に移されるときに失敗する。
ドメインのランダム化のようなこの問題に取り組む現在のアプローチには、事前の知識とエンジニアリングが必要である。
実世界に合わせてシミュレータシステムパラメータを自動的にチューニングする手法を提案する。
論文 参考訳（メタデータ） (2021-04-15T17:59:55Z) - TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。
特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。
TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
論文 参考訳（メタデータ） (2021-01-17T00:29:30Z) - RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。
RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
論文 参考訳（メタデータ） (2020-06-16T08:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。