論文の概要: Facilitating Sim-to-real by Intrinsic Stochasticity of Real-Time Simulation in Reinforcement Learning for Robot Manipulation

• arxiv url: http://arxiv.org/abs/2304.06056v2
• Date: Sun, 6 Aug 2023 12:16:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 23:22:50.298663
• Title: Facilitating Sim-to-real by Intrinsic Stochasticity of Real-Time Simulation in Reinforcement Learning for Robot Manipulation
• Title（参考訳）: ロボットマニピュレーションのための強化学習における実時間シミュレーションの固有確率によるシモン・トゥ・リアルの実現
• Authors: Ram Dershan, Amir M. Soufi Enayati, Zengjie Zhang, Dean Richert, and Homayoun Najjaran
• Abstract要約: 市販シミュレーションソフトウェアにおけるリアルタイムシミュレーション(RT-IS)の本質性について検討する。 RT-ISは、ランダム化を少なくし、タスク依存ではなく、従来のドメインランダム化駆動エージェントよりも優れた一般化性を実現する。
• 参考スコア（独自算出の注目度）: 1.6686307101054858
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Simulation is essential to reinforcement learning (RL) before implementation in the real world, especially for safety-critical applications like robot manipulation. Conventionally, RL agents are sensitive to the discrepancies between the simulation and the real world, known as the sim-to-real gap. The application of domain randomization, a technique used to fill this gap, is limited to the imposition of heuristic-randomized models. {We investigate the properties of intrinsic stochasticity of real-time simulation (RT-IS) of off-the-shelf simulation software and its potential to improve RL performance. This improvement includes a higher tolerance to noise and model imprecision and superiority to conventional domain randomization in terms of ease of use and automation. Firstly, we conduct analytical studies to measure the correlation of RT-IS with the utilization of computer hardware and validate its comparability with the natural stochasticity of a physical robot. Then, we exploit the RT-IS feature in the training of an RL agent. The simulation and physical experiment results verify the feasibility and applicability of RT-IS to robust agent training for robot manipulation tasks. The RT-IS-powered RL agent outperforms conventional agents on robots with modeling uncertainties. RT-IS requires less heuristic randomization, is not task-dependent, and achieves better generalizability than the conventional domain-randomization-powered agents. Our findings provide a new perspective on the sim-to-real problem in practical applications like robot manipulation tasks.
• Abstract（参考訳）: シミュレーションは、実世界で実装される前に強化学習(RL)に不可欠であり、特にロボット操作のような安全クリティカルな応用に必要である。 従来のRLエージェントは、シミュレーションと実世界の相違(sim-to-real gap)に敏感である。 このギャップを埋めるテクニックであるドメインランダム化の応用は、ヒューリスティック・ランダム化モデルの導入に限定されている。 実時間シミュレーション(RT-IS)の本質的確率特性とRL性能向上の可能性について検討する。 この改善には、ノイズに対する耐性とモデルの不正確さ、使いやすさと自動化の観点からの従来のドメインランダム化に対する優位性が含まれている。 まず,rt-isと計算機ハードウェアの利用との関係を解析的に測定し,物理ロボットの自然確率性との適合性を検証した。 そして,RT-ISをRLエージェントの訓練に利用した。 シミュレーションおよび物理実験により,ロボット操作作業におけるロバストエージェントトレーニングにおけるRT-ISの有効性と適用性を検証する。 rt-is駆動のrlエージェントは、不確かさをモデル化するロボットの従来のエージェントを上回っている。 RT-ISは、よりヒューリスティックなランダム化を必要とせず、タスク依存ではなく、従来のドメインランダム化駆動エージェントよりも優れた一般化性を実現する。 本研究は,ロボット操作タスクなどの実用化におけるシム・トゥ・リアル問題に対する新たな視点を提供する。

関連論文リスト

• INSIGHT: Universal Neural Simulator for Analog Circuits Harnessing Autoregressive Transformers [13.94505840368669]
  INSIGHTはアナログフロントエンド設計自動化ループにおける効果的なユニバーサルニューラルネットワークシミュレータである。 アナログ回路の性能指標を数マイクロ秒の推論時間で正確に予測する。
  論文  参考訳（メタデータ） (2024-07-10T03:52:53Z)
• Investigating the Robustness of Counterfactual Learning to Rank Models: A Reproducibility Study [61.64685376882383]
  ランク付け学習(CLTR: Counterfactual Learning to rank)は、IRコミュニティにおいて、ログ化された大量のユーザインタラクションデータを活用してランキングモデルをトレーニングする能力において、大きな注目を集めている。 本稿では,複雑かつ多様な状況における既存のCLTRモデルのロバスト性について検討する。 その結果, DLAモデルとIPS-DCMは, PS-PBMやPSSよりも, オフラインの確率推定による堅牢性が高いことがわかった。
  論文  参考訳（メタデータ） (2024-04-04T10:54:38Z)
• Learning to navigate efficiently and precisely in real environments [14.52507964172957]
  Embodied AIの文献は、HabitatやAI-Thorといったシミュレータで訓練されたエンドツーエンドエージェントに焦点を当てている。 本研究では,sim2realのギャップを最小限に抑えたシミュレーションにおけるエージェントのエンドツーエンドトレーニングについて検討する。
  論文  参考訳（メタデータ） (2024-01-25T17:50:05Z)
• Transfer of Reinforcement Learning-Based Controllers from Model- to Hardware-in-the-Loop [1.8218298349840023]
  強化学習は、自律的な訓練エージェントが複雑な制御タスクを実行する大きな可能性を秘めている。 組み込みシステム機能開発においてRLを効果的に利用するには、生成されたエージェントが現実世界のアプリケーションを扱う必要がある。 本研究は,Transfer Learning(TL)とX-in-the-Loop(XiL)シミュレーションを組み合わせることで,RLエージェントのトレーニングプロセスの高速化に重点を置いている。
  論文  参考訳（メタデータ） (2023-10-25T09:13:12Z)
• SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering [49.78647219715034]
  本稿では,SAM-RL と呼ばれる感性認識モデルに基づく強化学習システムを提案する。 SAM-RLは、センサーを意識した学習パイプラインによって、ロボットがタスクプロセスを監視するための情報的視点を選択することを可能にする。 我々は,ロボット組立,ツール操作,変形可能なオブジェクト操作という3つの操作タスクを達成するための実世界の実験に,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2022-10-27T05:30:43Z)
• Real-to-Sim: Predicting Residual Errors of Robotic Systems with Sparse Data using a Learning-based Unscented Kalman Filter [65.93205328894608]
  我々は,動的・シミュレータモデルと実ロボット間の残差を学習する。 学習した残差誤差により、動的モデル、シミュレーション、および実際のハードウェア間の現実的ギャップをさらに埋めることができることを示す。
  論文  参考訳（メタデータ） (2022-09-07T15:15:12Z)
• Sim2real for Reinforcement Learning Driven Next Generation Networks [4.29590751118341]
  Reinforcement Learning (RL) モデルは、RAN関連多目的最適化問題の解決の鍵と見なされている。 主な理由の1つはシミュレーションと実環境の間のモデリングギャップであり、RLエージェントは実環境に不適合なシミュレーションによって訓練される可能性がある。 この記事では、Open RAN(O-RAN)のコンテキストにおけるsim2realチャレンジについて述べます。 実環境におけるシミュレーション訓練されたRLモデルの障害モードを実証し、実証するために、いくつかのユースケースが提示される。
  論文  参考訳（メタデータ） (2022-06-08T12:40:24Z)
• Robot Learning from Randomized Simulations: A Review [59.992761565399185]
  ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。 最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。 本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
  論文  参考訳（メタデータ） (2021-11-01T13:55:41Z)
• Model-based Reinforcement Learning from Signal Temporal Logic Specifications [0.17205106391379021]
  本稿では,報酬/コスト関数の代替として,STL(Signal Temporal Logic)と呼ばれる形式仕様言語を用いて,望まれるハイレベルロボット動作を表現することを提案する。 提案アルゴリズムは、ピック・アンド・プレース・ロボットアームなどのロボットシステムのシミュレーションと、自律走行車に対する適応的なクルーズ制御を実証的に評価する。
  論文  参考訳（メタデータ） (2020-11-10T07:31:47Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。