論文の概要: Trade-off on Sim2Real Learning: Real-world Learning Faster than Simulations

• arxiv url: http://arxiv.org/abs/2007.10675v4
• Date: Mon, 10 Jan 2022 06:24:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 04:31:18.528408
• Title: Trade-off on Sim2Real Learning: Real-world Learning Faster than Simulations
• Title（参考訳）: Sim2Real Learningのトレードオフ: 実世界の学習はシミュレーションよりも速く
• Authors: Jingyi Huang, Yizheng Zhang, Fabio Giardina, Andre Rosendo
• Abstract要約: 我々は,Deep Bayesian LearningアルゴリズムとモデルのないDRLアルゴリズムを比較し,シミュレーションと実世界の実験から得られた結果を分析した。 SimとReal Learningを検討中,本実験では,計算時間を考慮した場合においても,サンプル効率のよいディープベイズRLの性能がDRLより優れていることを示した。
• 参考スコア（独自算出の注目度）: 1.949912057689623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Reinforcement Learning (DRL) experiments are commonly performed in simulated environments due to the tremendous training sample demands from deep neural networks. In contrast, model-based Bayesian Learning allows a robot to learn good policies within a few trials in the real world. Although it takes fewer iterations, Bayesian methods pay a relatively higher computational cost per trial, and the advantage of such methods is strongly tied to dimensionality and noise. In here, we compare a Deep Bayesian Learning algorithm with a model-free DRL algorithm while analyzing our results collected from both simulations and real-world experiments. While considering Sim and Real learning, our experiments show that the sample-efficient Deep Bayesian RL performance is better than DRL even when computation time (as opposed to number of iterations) is taken in consideration. Additionally, the difference in computation time between Deep Bayesian RL performed in simulation and in experiments point to a viable path to traverse the reality gap. We also show that a mix between Sim and Real does not outperform a purely Real approach, pointing to the possibility that reality can provide the best prior knowledge to a Bayesian Learning. Roboticists design and build robots every day, and our results show that a higher learning efficiency in the real-world will shorten the time between design and deployment by skipping simulations.
• Abstract（参考訳）: Deep Reinforcement Learning (DRL) 実験は、ディープニューラルネットワークからの膨大なトレーニングサンプル要求のため、シミュレーション環境で一般的に行われている。 対照的に、モデルベースのベイジアンラーニングでは、ロボットが現実世界のいくつかの試行で良いポリシーを学ぶことができる。 反復は少ないが、ベイズ法は試行ごとに計算コストが比較的高くなり、そのような方法の利点は次元とノイズに強く結びついている。 本稿では,Deep Bayesian LearningアルゴリズムとモデルなしDRLアルゴリズムを比較し,シミュレーションと実世界の実験から得られた結果を分析した。 SimとReal Learningを考慮しながら,本実験では,計算時間(イテレーション数)を考慮しても,サンプル効率のよい深ベイズRL性能がDRLより優れていることを示した。 さらに、シミュレーションと実験で行った深いベイズ rl の計算時間の差は、現実のギャップを横切るために実行可能な経路を示している。 また、SimとRealの混在は純粋にRealアプローチよりも優れておらず、現実がベイズ学習に最高の事前知識を提供する可能性を示している。 ロボット工学者は毎日ロボットをデザインし、構築し、その結果、現実世界での学習効率が向上すれば、シミュレーションをスキップすることで、設計と配置の間の時間を短縮できることがわかった。

関連論文リスト

• Sim-to-Real Deep Reinforcement Learning with Manipulators for Pick-and-place [1.7478203318226313]
  深層強化学習モデルをシミュレーションから実世界に移す場合、その性能は満足できない。 本稿では,ロボットが物体を効果的に選択・配置できる自己教師型視覚ベースDRL法を提案する。
  論文  参考訳（メタデータ） (2023-09-17T11:51:18Z)
• Continual learning autoencoder training for a particle-in-cell simulation via streaming [52.77024349608834]
  今後のエクサスケール時代は 次世代の物理シミュレーションを 高解像度で提供します これらのシミュレーションは高解像度であり、ディスク上に大量のシミュレーションデータを格納することはほぼ不可能であるため、機械学習モデルのトレーニングに影響を与える。 この研究は、ディスク上のデータなしで、実行中のシミュレーションにニューラルネットワークを同時にトレーニングするアプローチを示す。
  論文  参考訳（メタデータ） (2022-11-09T09:55:14Z)
• Simulation-Based Parallel Training [55.41644538483948]
  このようなボトルネックを緩和するトレーニングフレームワークを設計するために、現在進行中の作業を紹介します。 トレーニングプロセスと並行してデータを生成する。 このバイアスをメモリバッファで軽減する戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-08T09:31:25Z)
• Provable Sim-to-real Transfer in Continuous Domain with Partial Observations [39.18274543757048]
  シン・トゥ・リアル・トランスファー(英語版)は、シミュレーション環境でRLエージェントを訓練し、実世界で展開する。 実環境における最適政策と競合するシミュレートされた環境から、人気のある頑健な対人訓練アルゴリズムが、ポリシーを学習できることを示す。
  論文  参考訳（メタデータ） (2022-10-27T16:37:52Z)
• SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering [49.78647219715034]
  本稿では,SAM-RL と呼ばれる感性認識モデルに基づく強化学習システムを提案する。 SAM-RLは、センサーを意識した学習パイプラインによって、ロボットがタスクプロセスを監視するための情報的視点を選択することを可能にする。 我々は,ロボット組立,ツール操作,変形可能なオブジェクト操作という3つの操作タスクを達成するための実世界の実験に,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2022-10-27T05:30:43Z)
• Distilled Domain Randomization [23.178141671320436]
  本稿では,無作為な物理シミュレーションからの強化学習と政策蒸留を組み合わせることを提案する。 我々のアルゴリズムはDistilled Domain Randomization (DiDoR)と呼ばれ、ドメインの専門家であるいわゆる教師ポリシーを蒸留する。 このようにして、DiDoRは、ターゲットドメインからのデータを必要とせずに、シミュレーションから現実へ直接移行するコントローラを学習する。
  論文  参考訳（メタデータ） (2021-12-06T16:35:08Z)
• Robot Learning from Randomized Simulations: A Review [59.992761565399185]
  ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。 最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。 本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
  論文  参考訳（メタデータ） (2021-11-01T13:55:41Z)
• On the Theory of Reinforcement Learning with Once-per-Episode Feedback [120.5537226120512]
  本稿では,エピソード終盤に一度だけフィードバックを受ける強化学習の理論を紹介する。 これは、学習者が毎回フィードバックを受け取るという従来の要件よりも、現実世界のアプリケーションの代表的です。
  論文  参考訳（メタデータ） (2021-05-29T19:48:51Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)
• Sim-to-Real Transfer with Incremental Environment Complexity for Reinforcement Learning of Depth-Based Robot Navigation [1.290382979353427]
  段階的環境複雑性を用いたソフト・アクター・クリティカル(SAC)トレーニング戦略を提案し,実世界における追加トレーニングの必要性を大幅に低減した。 アプリケーションは深度に基づくマップレスナビゲーションで、移動ロボットは、事前のマッピング情報なしで、散らかった環境で所定の経路点に到達すべきである。
  論文  参考訳（メタデータ） (2020-04-30T10:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。