論文の概要: Close the Sim2real Gap via Physically-based Structured Light Synthetic Data Simulation

• arxiv url: http://arxiv.org/abs/2407.12449v1
• Date: Wed, 17 Jul 2024 09:57:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 17:37:53.479164
• Title: Close the Sim2real Gap via Physically-based Structured Light Synthetic Data Simulation
• Title（参考訳）: 物理ベース構造光合成データシミュレーションによるSim2realギャップの閉鎖
• Authors: Kaixin Bai, Lei Zhang, Zhaopeng Chen, Fang Wan, Jianwei Zhang,
• Abstract要約: 我々は、RGBと物理的にリアルな深度画像を生成する革新的な構造化光シミュレーションシステムを導入する。 ロボット産業の把握シナリオに適したRGBDデータセットを作成します。 sim2realのギャップを減らし、深層学習訓練を強化することにより、深層学習モデルを産業環境に適用しやすくする。
• 参考スコア（独自算出の注目度）: 16.69742672616517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the substantial progress in deep learning, its adoption in industrial robotics projects remains limited, primarily due to challenges in data acquisition and labeling. Previous sim2real approaches using domain randomization require extensive scene and model optimization. To address these issues, we introduce an innovative physically-based structured light simulation system, generating both RGB and physically realistic depth images, surpassing previous dataset generation tools. We create an RGBD dataset tailored for robotic industrial grasping scenarios and evaluate it across various tasks, including object detection, instance segmentation, and embedding sim2real visual perception in industrial robotic grasping. By reducing the sim2real gap and enhancing deep learning training, we facilitate the application of deep learning models in industrial settings. Project details are available at https://baikaixinpublic.github.io/structured light 3D synthesizer/.
• Abstract（参考訳）: ディープラーニングの大幅な進歩にもかかわらず、産業用ロボットプロジェクトへの採用は、主にデータ取得とラベル付けの課題のために制限されている。 ドメインランダム化を用いた従来のsim2realアプローチは、広範囲のシーンとモデルの最適化を必要とする。 これらの課題に対処するために,従来のデータセット生成ツールを超越して,RGBと物理的にリアルな深度画像を生成する,革新的な物理ベース構造化光シミュレーションシステムを導入する。 我々は、ロボット産業の把握シナリオに適したRGBDデータセットを作成し、オブジェクトの検出、インスタンスのセグメンテーション、産業用ロボットの把握におけるシモディリアルな視覚知覚の埋め込みなど、さまざまなタスクにわたって評価する。 sim2realのギャップを減らし、深層学習訓練を強化することにより、深層学習モデルを産業環境に適用しやすくする。 プロジェクトの詳細はhttps://baikaixinpublic.github.io/structured light 3D synthesisr/で確認できる。

関連論文リスト

• URDFormer: A Pipeline for Constructing Articulated Simulation Environments from Real-World Images [39.0780707100513]
  そこで本研究では,実世界の画像からキネマティック構造と動的構造を合成したシミュレーションシーンを生成するエンドツーエンドパイプラインを提案する。 そこで本研究は,大規模シミュレーション環境のためのパイプラインと,ロバストなロボット制御ポリシをトレーニングするための統合システムの両方を提供する。
  論文  参考訳（メタデータ） (2024-05-19T20:01:29Z)
• RaSim: A Range-aware High-fidelity RGB-D Data Simulation Pipeline for Real-world Applications [55.24463002889]
  我々は深度データ合成に焦点をあて、レンジ対応RGB-Dデータシミュレーションパイプライン(RaSim)を開発した。 特に、実世界のセンサーの撮像原理を模倣して高忠実度深度データを生成する。 RaSimは、下流のRGB-D知覚タスクで微調整をすることなく、現実世界のシナリオに直接適用することができる。
  論文  参考訳（メタデータ） (2024-04-05T08:52:32Z)
• Reconstructing Objects in-the-wild for Realistic Sensor Simulation [41.55571880832957]
  我々は,スパース・イン・ザ・ワイルドデータから正確な幾何学的および現実的な外観を推定する新しい手法であるNeuSimを提案する。 物体の外観を物理にインスパイアされた頑健な反射率表現でモデル化し,実測データに有効である。 実験の結果,NeuSimはスパース・トレーニング・ビューを持つ難解なシナリオに対して,強力なビュー合成性能を有することがわかった。
  論文  参考訳（メタデータ） (2023-11-09T18:58:22Z)
• Learning from synthetic data generated with GRADE [0.6982738885923204]
  本稿では,ロボット工学研究のための現実的なアニメーション動的環境(GRADE)を作成するためのフレームワークを提案する。 GRADEは、完全なシミュレーション制御、ROS統合、現実物理学をサポートし、高い視覚的忠実度画像と地上真実データを生成するエンジン内にある。 合成データのみを用いてトレーニングしても、同一のアプリケーション領域における実世界の画像によく当てはまることを示す。
  論文  参考訳（メタデータ） (2023-05-07T14:13:04Z)
• Learning Sim-to-Real Dense Object Descriptors for Robotic Manipulation [4.7246285569677315]
  我々はSim-to-Real Dense Object Nets(SRDONs)という,オブジェクトを適切な表現で理解するだけでなく,シミュレートされた実データをピクセル整合性を持った統一された特徴空間にマップする,高密度オブジェクト記述子を提案する。 本研究では,事前学習したSRDONが実世界の訓練をゼロにした各種ロボット作業において,見えない物体や見えない視覚環境の性能を著しく向上させる実験を行った。
  論文  参考訳（メタデータ） (2023-04-18T02:28:55Z)
• Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial Application Case on Autonomous Disassembly [55.41644538483948]
  我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。 合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。 この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
  論文  参考訳（メタデータ） (2023-01-12T14:00:37Z)
• MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
  本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。 提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。 また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
  論文  参考訳（メタデータ） (2021-12-29T17:23:24Z)
• GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
  GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。 まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。 得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
  論文  参考訳（メタデータ） (2021-01-16T23:00:33Z)
• Meta-Sim2: Unsupervised Learning of Scene Structure for Synthetic Data Generation [88.04759848307687]
  Meta-Sim2では,パラメータに加えてシーン構造を学習することを目指している。 強化学習(Reinforcement Learning)を使用してモデルをトレーニングし、トレーニング成功の鍵となる合成画像とターゲット画像の間に特徴空間のばらつきを設計する。 また,この手法は,他のベースラインシミュレーション手法と対照的に,生成したデータセット上でトレーニングしたオブジェクト検出器の性能を下流で向上させることを示す。
  論文  参考訳（メタデータ） (2020-08-20T17:28:45Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。