論文の概要: Synthetica: Large Scale Synthetic Data for Robot Perception

• arxiv url: http://arxiv.org/abs/2410.21153v1
• Date: Mon, 28 Oct 2024 15:50:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:21:19.667463
• Title: Synthetica: Large Scale Synthetic Data for Robot Perception
• Title（参考訳）: Synthetica:ロボット知覚のための大規模合成データ
• Authors: Ritvik Singh, Jingzhou Liu, Karl Van Wyk, Yu-Wei Chao, Jean-Francois Lafleche, Florian Shkurti, Nathan Ratliff, Ankur Handa,
• Abstract要約: 本稿では,ロバストな状態推定器を訓練するための大規模合成データ生成手法であるSyntheticaを提案する。 本稿では,ほとんどの状態推定問題のフロントエンドとして機能する重要な問題であるオブジェクト検出の課題に焦点を当てる。 レイトレーシングのデータを利用して270万の画像を生成し、高精度なリアルタイム検出変換器を訓練する。 我々は,従来のSOTAの9倍の50-100Hzの検出器を動作させながら,物体検出タスクにおける最先端性能を示す。
• 参考スコア（独自算出の注目度）: 21.415878105900187
• License:
• Abstract: Vision-based object detectors are a crucial basis for robotics applications as they provide valuable information about object localisation in the environment. These need to ensure high reliability in different lighting conditions, occlusions, and visual artifacts, all while running in real-time. Collecting and annotating real-world data for these networks is prohibitively time consuming and costly, especially for custom assets, such as industrial objects, making it untenable for generalization to in-the-wild scenarios. To this end, we present Synthetica, a method for large-scale synthetic data generation for training robust state estimators. This paper focuses on the task of object detection, an important problem which can serve as the front-end for most state estimation problems, such as pose estimation. Leveraging data from a photorealistic ray-tracing renderer, we scale up data generation, generating 2.7 million images, to train highly accurate real-time detection transformers. We present a collection of rendering randomization and training-time data augmentation techniques conducive to robust sim-to-real performance for vision tasks. We demonstrate state-of-the-art performance on the task of object detection while having detectors that run at 50-100Hz which is 9 times faster than the prior SOTA. We further demonstrate the usefulness of our training methodology for robotics applications by showcasing a pipeline for use in the real world with custom objects for which there do not exist prior datasets. Our work highlights the importance of scaling synthetic data generation for robust sim-to-real transfer while achieving the fastest real-time inference speeds. Videos and supplementary information can be found at this URL: https://sites.google.com/view/synthetica-vision.
• Abstract（参考訳）: 視覚に基づく物体検出器は、環境における物体の局在に関する貴重な情報を提供するため、ロボット工学の応用にとって重要な基盤である。 これらは、様々な照明条件、閉塞物、視覚的アーティファクトにおいて、すべてリアルタイムで実行しながら高い信頼性を確保する必要がある。 これらのネットワークのための実世界のデータの収集と注釈付けは、特に工業用オブジェクトのようなカスタムアセットにとって、時間と費用が極端にかかるため、現場のシナリオへの一般化には耐え難い。 そこで本研究では,ロバストな状態推定器を訓練するための大規模合成データ生成手法であるSyntheticaを提案する。 本稿では、ポーズ推定などのほとんどの状態推定問題のフロントエンドとして機能する重要な問題であるオブジェクト検出の課題に焦点を当てる。 フォトリアリスティック・レイトレーシング・レンダラーからのデータを活用して、データ生成をスケールアップし、270万の画像を生成し、高精度なリアルタイム検出変換器を訓練する。 本稿では,視覚タスクにおけるロバストなsim-to-realパフォーマンスを実現するために,レンダリングランダム化とトレーニング時間データ拡張手法のコレクションを提案する。 我々は,従来のSOTAの9倍の50-100Hzの検出器を動作させながら,物体検出タスクにおける最先端性能を示す。 従来のデータセットが存在しないカスタムオブジェクトを実世界で使用するためのパイプラインを提示することにより、ロボット応用のためのトレーニング手法の有用性をさらに実証する。 我々の研究は、高速なリアルタイム推論速度を達成しつつ、ロバストなsim-to-real転送のための合成データ生成のスケーリングの重要性を強調した。 ビデオと補足情報は、このURLで見ることができる。

関連論文リスト

• Learning from synthetic data generated with GRADE [0.6982738885923204]
  本稿では,ロボット工学研究のための現実的なアニメーション動的環境(GRADE)を作成するためのフレームワークを提案する。 GRADEは、完全なシミュレーション制御、ROS統合、現実物理学をサポートし、高い視覚的忠実度画像と地上真実データを生成するエンジン内にある。 合成データのみを用いてトレーニングしても、同一のアプリケーション領域における実世界の画像によく当てはまることを示す。
  論文  参考訳（メタデータ） (2023-05-07T14:13:04Z)
• Synthetic Data for Object Classification in Industrial Applications [53.180678723280145]
  オブジェクト分類では、オブジェクトごとに、異なる条件下で、多数の画像を取得することは必ずしも不可能である。 本研究は,学習データセット内の限られたデータに対処するゲームエンジンを用いた人工画像の作成について検討する。
  論文  参考訳（メタデータ） (2022-12-09T11:43:04Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• Neural-Sim: Learning to Generate Training Data with NeRF [31.81496344354997]
  本稿では,ニューラルレージアンスフィールド(NeRF)を対象アプリケーションの損失関数を持つ閉ループに使用した,最初の完全微分可能な合成データパイプラインを提案する。 提案手法は,人的負担を伴わないオンデマンドでデータを生成し,目標タスクの精度を最大化する。
  論文  参考訳（メタデータ） (2022-07-22T22:48:33Z)
• Hands-Up: Leveraging Synthetic Data for Hands-On-Wheel Detection [0.38233569758620045]
  この研究は、ドライバモニタリングシステムのトレーニングに合成フォトリアリスティックインキャビンデータを使用することを実証する。 プラットフォームでエラー解析を行い、欠落したエッジケースを生成することで、パフォーマンスが向上することを示す。 これは、人間中心の合成データが現実世界にうまく一般化する能力を示している。
  論文  参考訳（メタデータ） (2022-05-31T23:34:12Z)
• MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
  本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。 提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。 また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
  論文  参考訳（メタデータ） (2021-12-29T17:23:24Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• UnrealROX+: An Improved Tool for Acquiring Synthetic Data from Virtual 3D Environments [14.453602631430508]
  ロボット画像から合成データを生成するためのツールであるUnrealROXの改良版を紹介します。 UnrealROX+には、Deep Learningフレームワークから仮想環境と対話するalbedoやPython APIを生成する、といった新機能が含まれている。
  論文  参考訳（メタデータ） (2021-04-23T18:45:42Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)
• Deflating Dataset Bias Using Synthetic Data Augmentation [8.509201763744246]
  自律走行車(AV)の視覚タスクの最先端の手法は、教師あり学習に依存している。 本研究の目的は,視覚タスクにおける実際のデータセットのギャップを埋めるために,ターゲットとなる合成データ拡張の利用を検討することである。 AVに実用的な3つの異なるコンピュータビジョンタスクに関する実証研究は、トレーニングミックスに合成データを持つことは、クロスデータセットの一般化性能を著しく向上させることを一貫して示している。
  論文  参考訳（メタデータ） (2020-04-28T21:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。