論文の概要: SplatSim: Zero-Shot Sim2Real Transfer of RGB Manipulation Policies Using Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2409.10161v2
• Date: Mon, 7 Oct 2024 03:37:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 20:35:12.675347
• Title: SplatSim: Zero-Shot Sim2Real Transfer of RGB Manipulation Policies Using Gaussian Splatting
• Title（参考訳）: SplatSim: ゼロショットSim2 ガウススティングを用いたRGB操作ポリシーのリアルタイム転送
• Authors: Mohammad Nomaan Qureshi, Sparsh Garg, Francisco Yandun, David Held, George Kantor, Abhisesh Silwal,
• Abstract要約: SplatSimは、RGBベースの操作ポリシーのSim2Realギャップを減らすために、Gaussian Splattingを主要なレンダリングプリミティブとして活用する新しいフレームワークである。 我々は,SplatSim内の操作ポリシーを訓練し,実環境にゼロショットで展開することで,フレームワークの有効性を実証する。
• 参考スコア（独自算出の注目度）: 14.349278229567485
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sim2Real transfer, particularly for manipulation policies relying on RGB images, remains a critical challenge in robotics due to the significant domain shift between synthetic and real-world visual data. In this paper, we propose SplatSim, a novel framework that leverages Gaussian Splatting as the primary rendering primitive to reduce the Sim2Real gap for RGB-based manipulation policies. By replacing traditional mesh representations with Gaussian Splats in simulators, SplatSim produces highly photorealistic synthetic data while maintaining the scalability and cost-efficiency of simulation. We demonstrate the effectiveness of our framework by training manipulation policies within SplatSim and deploying them in the real world in a zero-shot manner, achieving an average success rate of 86.25%, compared to 97.5% for policies trained on real-world data. Videos can be found on our project page: https://splatsim.github.io
• Abstract（参考訳）: Sim2Real転送、特にRGB画像に依存する操作ポリシーは、合成と実世界の視覚データ間のドメインシフトが著しいため、ロボット工学において重要な課題である。 本稿では,RGBベースの操作ポリシーにおけるSim2Realギャップを低減するために,ガウススティングを主レンダリングプリミティブとして活用する新しいフレームワークであるSplatSimを提案する。 従来のメッシュ表現をシミュレーターのガウスSplatに置き換えることにより、SplatSimはシミュレーションのスケーラビリティとコスト効率を保ちながら、高度にフォトリアリスティックな合成データを生成する。 我々は,SplatSim内の操作ポリシーを訓練し,それらをゼロショットで実世界で展開し,実世界のデータに基づいてトレーニングしたポリシーの97.5%に対して平均86.25%の成功率を達成することにより,フレームワークの有効性を実証する。 ビデオはプロジェクトのページで見ることができる。

関連論文リスト

• RaSim: A Range-aware High-fidelity RGB-D Data Simulation Pipeline for Real-world Applications [55.24463002889]
  我々は深度データ合成に焦点をあて、レンジ対応RGB-Dデータシミュレーションパイプライン(RaSim)を開発した。 特に、実世界のセンサーの撮像原理を模倣して高忠実度深度データを生成する。 RaSimは、下流のRGB-D知覚タスクで微調整をすることなく、現実世界のシナリオに直接適用することができる。
  論文  参考訳（メタデータ） (2024-04-05T08:52:32Z)
• Benchmarking the Sim-to-Real Gap in Cloth Manipulation [10.530012817995656]
  布の操作におけるシム・トゥ・リアルギャップを評価するためのベンチマークデータセットを提案する。 このデータセットを用いて、一般的な4つの変形可能なオブジェクトシミュレータの現実的ギャップ、計算時間、安定性を評価する。
  論文  参考訳（メタデータ） (2023-10-14T09:36:01Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)
• Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial Application Case on Autonomous Disassembly [55.41644538483948]
  我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。 合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。 この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
  論文  参考訳（メタデータ） (2023-01-12T14:00:37Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Real2Sim or Sim2Real: Robotics Visual Insertion using Deep Reinforcement Learning and Real2Sim Policy Adaptation [8.992053371569678]
  本研究では,最小限のインフラ要件を持つ純粋視覚強化学習ソリューションを用いて挿入課題を解決する。 我々はまた、ポリシー適応において、新しくて簡単なソリューションを提供する新しいsim2real戦略、Real2Simを提案する。
  論文  参考訳（メタデータ） (2022-06-06T15:27:25Z)
• Auto-Tuned Sim-to-Real Transfer [143.44593793640814]
  シミュレーションで訓練されたポリシーは、しばしば現実世界に移されるときに失敗する。 ドメインのランダム化のようなこの問題に取り組む現在のアプローチには、事前の知識とエンジニアリングが必要である。 実世界に合わせてシミュレータシステムパラメータを自動的にチューニングする手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:55Z)
• Sim2SG: Sim-to-Real Scene Graph Generation for Transfer Learning [11.470544832549832]
  シーングラフ生成のためのSim-to-real転送のためのスケーラブルな手法であるSim2SGを提案する。 Sim2SGは、ドメインギャップを外見、ラベル、予測の相違に分解することで解決する。 本実験は, 領域ギャップを質的に, 定量的に低減する上で, ベースラインよりも大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2020-11-30T01:21:55Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。