論文の概要: Bridging the Sim2Real Gap: Vision Encoder Pre-Training for Visuomotor Policy Transfer

• arxiv url: http://arxiv.org/abs/2501.16389v1
• Date: Sun, 26 Jan 2025 00:27:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:40:43.288298
• Title: Bridging the Sim2Real Gap: Vision Encoder Pre-Training for Visuomotor Policy Transfer
• Title（参考訳）: Sim2Realギャップのブリッジ:ビジュモータ政策移行のためのビジョンエンコーダ事前訓練
• Authors: Samuel Biruduganti, Yash Yardi, Lars Ankile,
• Abstract要約: 「Sim2Real」の流通シフトは、シミュレーションから現実への政策移行の成功を防ぐ。 本研究は,Sim2Realギャップに対処するために,視覚エンコーダの大規模事前学習の可能性を検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Simulation offers a scalable and efficient alternative to real-world data collection for learning visuomotor robotic policies. However, the simulation-to-reality, or "Sim2Real" distribution shift -- introduced by employing simulation-trained policies in real-world environments -- frequently prevents successful policy transfer. This study explores the potential of using large-scale pre-training of vision encoders to address the Sim2Real gap. We examine a diverse collection of encoders, evaluating their ability to (1) extract features necessary for robot control while (2) remaining invariant to task-irrelevant environmental variations. We quantitatively measure the encoder's feature extraction capabilities through linear probing and its domain invariance by computing distances between simulation and real-world embedding centroids. Additional qualitative insights are provided through t-SNE plots and GradCAM saliency maps. Findings suggest that encoders pre-trained on manipulation-specific datasets generally outperform those trained on generic datasets in bridging the Sim2Real gap. https://github.com/yyardi/Bridging-the-Sim2Real-Gap
• Abstract（参考訳）: シミュレーションは、ヴィジュモータロボットポリシーを学ぶための、現実世界のデータ収集の、スケーラブルで効率的な代替手段を提供する。 しかし、シミュレーション・トゥ・リアリティ(Sim2Real)の分散シフト(実環境におけるシミュレーション訓練されたポリシーの導入による)は、政策移行の成功を頻繁に妨げている。 本研究は,Sim2Realギャップに対処するための視覚エンコーダの大規模事前学習の可能性を検討する。 本研究では,(1)ロボット制御に必要な特徴を抽出し,(2)タスク非関連環境変動に不変なまま,多種多様なエンコーダ群について検討する。 本研究では,線形探索によるエンコーダの特徴抽出能力の定量化と,シミュレーションと実世界の埋め込みセントロイド間の距離の計算による領域不変性の測定を行う。 さらなる質的な洞察は、t-SNEプロットとGradCAMサリエンシマップを通じて提供される。 操作固有のデータセットで事前トレーニングされたエンコーダは、一般的に、Sim2Realギャップを埋める際の一般的なデータセットでトレーニングされたものよりも優れています。 https://github.com/yyardi/Bridging-the-Sim2Real-Gap

関連論文リスト

• CARLA2Real: a tool for reducing the sim2real gap in CARLA simulator [2.8978140690127328]
  我々は、シミュレーションデータのフォトリアリズムを高めるために最先端のアプローチを採用し、それらを実世界のデータセットの視覚的特徴と整合させる。 そこで我々はCARLA2Realを開発した。CARLA2Realは、広く使われているオープンソースのCARLAシミュレーターである。 このツールは、CARLAをほぼリアルタイムで出力し、13FPSのフレームレートを実現し、実世界のデータセットの視覚的スタイルとリアリズムに変換する。
  論文  参考訳（メタデータ） (2024-10-23T19:33:30Z)
• Close the Sim2real Gap via Physically-based Structured Light Synthetic Data Simulation [16.69742672616517]
  我々は、RGBと物理的にリアルな深度画像を生成する革新的な構造化光シミュレーションシステムを導入する。 ロボット産業の把握シナリオに適したRGBDデータセットを作成します。 sim2realのギャップを減らし、深層学習訓練を強化することにより、深層学習モデルを産業環境に適用しやすくする。
  論文  参考訳（メタデータ） (2024-07-17T09:57:14Z)
• Sim-to-Real Transfer of Deep Reinforcement Learning Agents for Online Coverage Path Planning [15.792914346054502]
  我々は、カバーパス計画(CPP)のための強化学習エージェント(RL)のSim-to-real転送の課題に取り組む。 シミュレーションされたセンサと障害物を利用しながら、現実のロボットやリアルタイムの側面を含む半仮想環境を通じて、シミュレートと現実のギャップを橋渡しする。 高い推測周波数は、一階マルコフのポリシーをシミュレーションから直接転送することを可能にし、高階のポリシーを微調整することで、sim-to-realのギャップをさらに減らすことができる。
  論文  参考訳（メタデータ） (2024-06-07T13:24:19Z)
• DUSA: Decoupled Unsupervised Sim2Real Adaptation for Vehicle-to-Everything Collaborative Perception [17.595237664316148]
  自動運転車にとって、V2Xの協調認識は不可欠である。 高精度なV2X知覚を実現するには、大量の注釈付き実世界のデータが必要である。 Decoupled Unsupervised Sim2Real Adaptation (DUSA) と名付けられたV2X協調検出のための新しい教師なしSim2realドメイン適応法を提案する。
  論文  参考訳（メタデータ） (2023-10-12T08:21:17Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)
• Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial Application Case on Autonomous Disassembly [55.41644538483948]
  我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。 合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。 この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
  論文  参考訳（メタデータ） (2023-01-12T14:00:37Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
  リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。 特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
  論文  参考訳（メタデータ） (2021-01-17T00:29:30Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。