論文の概要: Bridging the Sim2Real Gap: Vision Encoder Pre-Training for Visuomotor Policy Transfer

• arxiv url: http://arxiv.org/abs/2501.16389v2
• Date: Sun, 07 Sep 2025 01:22:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:02.869968
• Title: Bridging the Sim2Real Gap: Vision Encoder Pre-Training for Visuomotor Policy Transfer
• Title（参考訳）: Sim2Realギャップのブリッジ:ビジュモータ政策移行のためのビジョンエンコーダ事前訓練
• Authors: Yash Yardi, Samuel Biruduganti, Lars Ankile,
• Abstract要約: 我々は、Sim2Realギャップに対処するために、事前学習された視覚エンコーダの性能を評価する。 操作制限付きエンコーダは、常により高いアクションスコアを達成可能であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simulation offers a scalable and efficient alternative to real-world data collection for learning visuomotor robotic policies. However, the simulation-to-reality, or Sim2Real distribution shift -- introduced by employing simulation-trained policies in real-world environments -- frequently prevents successful policy transfer. We present an offline framework to evaluate the performance of using large-scale pre-trained vision encoders to address the Sim2Real gap. We examine a diverse collection of encoders, assessing their ability to extract features necessary for robot control (Action Score) while remaining invariant to task-irrelevant environmental variations (Domain Invariance Score). Evaluating 23 encoders, we reveal patterns across architectures, pre-training datasets, and parameter scales. Our findings show that manipulation-pretrained encoders consistently achieve higher Action Scores, CNN-based encoders demonstrate stronger domain invariance than ViTs, and the best-performing models combine both properties, underscoring DIS and AS as complementary predictors of Sim2Real transferability.
• Abstract（参考訳）: シミュレーションは、ヴィジュモータロボットポリシーを学ぶための、現実世界のデータ収集の、スケーラブルで効率的な代替手段を提供する。 しかし、シミュレーション・トゥ・リアリティ(Sim2Realディストリビューションのシフト)は、実環境においてシミュレーション訓練されたポリシーを採用することで、しばしばポリシーの転送の成功を防いでいる。 我々は,Sim2Realのギャップに対処するために,大規模な事前学習型視覚エンコーダを用いたオフラインフレームワークを提案する。 本研究では,ロボット制御に必要な特徴を抽出する能力(Action Score)を,タスク非依存の環境変動(Domain Invariance Score)に不変でありながら,多種多様なエンコーダのコレクションを検証した。 23のエンコーダを評価し、アーキテクチャ、事前トレーニングデータセット、パラメータスケールのパターンを明らかにする。 この結果から,操作事前符号化器は高い動作スコアを連続的に達成し,CNNベースの符号化器はViTよりも強いドメイン不変性を証明し,最高の性能モデルでは両方の特性を組み合わせ,Sim2Real転送可能性の相補的予測器としてDIとASを推定した。

関連論文リスト

• How to Bridge the Sim-to-Real Gap in Digital Twin-Aided Telecommunication Networks [30.858857240474077]
  通信のための効果的な人工知能モデルを訓練することは、デプロイメント固有のデータが不足しているために困難である。 実際のデータ収集は高価で、利用可能なデータセットは、ネットワーク環境のユニークな運用条件とコンテキスト変数をキャプチャできないことが多い。 デジタルツインニングは、現在のネットワーク展開に合わせてシミュレータがサイト固有のデータを生成して、利用可能なトレーニングデータセットを拡張することにより、この問題に対する潜在的な解決策を提供する。
  論文  参考訳（メタデータ） (2025-07-09T17:27:51Z)
• CARLA2Real: a tool for reducing the sim2real gap in CARLA simulator [2.8978140690127328]
  我々は、シミュレーションデータのフォトリアリズムを高めるために最先端のアプローチを採用し、それらを実世界のデータセットの視覚的特徴と整合させる。 そこで我々はCARLA2Realを開発した。CARLA2Realは、広く使われているオープンソースのCARLAシミュレーターである。 このツールは、CARLAをほぼリアルタイムで出力し、13FPSのフレームレートを実現し、実世界のデータセットの視覚的スタイルとリアリズムに変換する。
  論文  参考訳（メタデータ） (2024-10-23T19:33:30Z)
• Close the Sim2real Gap via Physically-based Structured Light Synthetic Data Simulation [16.69742672616517]
  我々は、RGBと物理的にリアルな深度画像を生成する革新的な構造化光シミュレーションシステムを導入する。 ロボット産業の把握シナリオに適したRGBDデータセットを作成します。 sim2realのギャップを減らし、深層学習訓練を強化することにより、深層学習モデルを産業環境に適用しやすくする。
  論文  参考訳（メタデータ） (2024-07-17T09:57:14Z)
• Sim-to-Real Transfer of Deep Reinforcement Learning Agents for Online Coverage Path Planning [15.792914346054502]
  我々は、カバーパス計画(CPP)のための強化学習エージェント(RL)のSim-to-real転送の課題に取り組む。 シミュレーションされたセンサと障害物を利用しながら、現実のロボットやリアルタイムの側面を含む半仮想環境を通じて、シミュレートと現実のギャップを橋渡しする。 高い推測周波数は、一階マルコフのポリシーをシミュレーションから直接転送することを可能にし、高階のポリシーを微調整することで、sim-to-realのギャップをさらに減らすことができる。
  論文  参考訳（メタデータ） (2024-06-07T13:24:19Z)
• DUSA: Decoupled Unsupervised Sim2Real Adaptation for Vehicle-to-Everything Collaborative Perception [17.595237664316148]
  自動運転車にとって、V2Xの協調認識は不可欠である。 高精度なV2X知覚を実現するには、大量の注釈付き実世界のデータが必要である。 Decoupled Unsupervised Sim2Real Adaptation (DUSA) と名付けられたV2X協調検出のための新しい教師なしSim2realドメイン適応法を提案する。
  論文  参考訳（メタデータ） (2023-10-12T08:21:17Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)
• Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial Application Case on Autonomous Disassembly [55.41644538483948]
  我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。 合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。 この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
  論文  参考訳（メタデータ） (2023-01-12T14:00:37Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
  リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。 特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
  論文  参考訳（メタデータ） (2021-01-17T00:29:30Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。