論文の概要: Exploring Generative AI for Sim2Real in Driving Data Synthesis
- arxiv url: http://arxiv.org/abs/2404.09111v1
- Date: Sun, 14 Apr 2024 01:23:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 15:27:43.973615
- Title: Exploring Generative AI for Sim2Real in Driving Data Synthesis
- Title(参考訳): 運転データ合成におけるSim2Realのための生成AIの探索
- Authors: Haonan Zhao, Yiting Wang, Thomas Bashford-Rogers, Valentina Donzella, Kurt Debattista,
- Abstract要約: ドライビングシミュレータは、対応するアノテーションで様々なドライビングシナリオを自動的に生成するソリューションを提供するが、シミュレーションとリアリティ(Sim2Real)ドメインギャップは依然として課題である。
本稿では,現実的なデータセット作成のためのブリッジとして,運転シミュレータからのセマンティックラベルマップを活用するために,3つの異なる生成AI手法を適用した。
実験の結果,手動のアノテートラベルが提供されると,GANベースの手法は高品質な画像を生成するには適しているが,ControlNetは,シミュレータ生成ラベルを使用すると,より少ないアーティファクトとより構造的忠実度を持つ合成データセットを生成することがわかった。
- 参考スコア(独自算出の注目度): 6.769182994217369
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Datasets are essential for training and testing vehicle perception algorithms. However, the collection and annotation of real-world images is time-consuming and expensive. Driving simulators offer a solution by automatically generating various driving scenarios with corresponding annotations, but the simulation-to-reality (Sim2Real) domain gap remains a challenge. While most of the Generative Artificial Intelligence (AI) follows the de facto Generative Adversarial Nets (GANs)-based methods, the recent emerging diffusion probabilistic models have not been fully explored in mitigating Sim2Real challenges for driving data synthesis. To explore the performance, this paper applied three different generative AI methods to leverage semantic label maps from a driving simulator as a bridge for the creation of realistic datasets. A comparative analysis of these methods is presented from the perspective of image quality and perception. New synthetic datasets, which include driving images and auto-generated high-quality annotations, are produced with low costs and high scene variability. The experimental results show that although GAN-based methods are adept at generating high-quality images when provided with manually annotated labels, ControlNet produces synthetic datasets with fewer artefacts and more structural fidelity when using simulator-generated labels. This suggests that the diffusion-based approach may provide improved stability and an alternative method for addressing Sim2Real challenges.
- Abstract(参考訳): データセットは、車両認識アルゴリズムのトレーニングとテストに不可欠である。
しかし、実際の画像の収集とアノテーションは時間と費用がかかる。
ドライビングシミュレータは、対応するアノテーションで様々な駆動シナリオを自動的に生成するソリューションを提供するが、シミュレーションと現実(Sim2Real)ドメインギャップは依然として課題である。
生成人工知能(AI)の大半は、GAN(Generative Adversarial Nets)ベースのデファクトの手法に従っているが、最近の拡散確率モデルは、データ合成を駆動するSim2Realの課題を緩和するために完全には研究されていない。
そこで本研究では,現実的なデータセット作成のためのブリッジとして,運転シミュレータからのセマンティックラベルマップを活用するために,3つの異なる生成AI手法を適用した。
画像の質と知覚の観点から,これらの手法の比較分析を行った。
駆動画像と自動生成された高品質アノテーションを含む新しい合成データセットは、低コストで高シーン変動性で生成される。
実験結果から,手動アノテートラベルを用いた場合,GAN法は高品質な画像生成に適しているが,シミュレータ生成ラベルを用いた場合,より少ないアーティファクトとより構造的忠実度を有する合成データセットを生成することがわかった。
このことは拡散に基づくアプローチによって安定性が向上し、Sim2Real問題に対処するための代替手法が提供されることを示唆している。
関連論文リスト
- Assessing Quality Metrics for Neural Reality Gap Input Mitigation in Autonomous Driving Testing [2.194575078433007]
自動走行システム(ADS)のシミュレーションベースのテストは業界標準であり、現実世界のテストに対する制御され、安全で費用対効果の高い代替手段である。
これらの利点にもかかわらず、仮想シミュレーションは画像の忠実さ、テクスチャ表現、環境の正確さといった現実世界の状態を正確に再現することができないことが多い。
これは、シミュレートされたドメインと実世界のドメイン間のADSの挙動に大きな違いをもたらす可能性がある。
研究者は、画像から画像へのニューラルトランスレーション(I2I)を使用して、シミュレートされた環境のリアリズムを高め、合成データをより本物にすることで、シミュレートされた環境のリアリズムを高めた。
論文 参考訳(メタデータ) (2024-04-29T10:37:38Z) - Are NeRFs ready for autonomous driving? Towards closing the real-to-simulation gap [6.393953433174051]
本稿では,実際のデータギャップに対処するための新しい視点を提案する。
自律運転環境における実シミュレーションデータギャップの大規模調査を初めて実施する。
シミュレーションデータに対するモデルロバスト性は顕著に向上し,実世界の性能も向上した。
論文 参考訳(メタデータ) (2024-03-24T11:09:41Z) - Augmented Reality based Simulated Data (ARSim) with multi-view consistency for AV perception networks [47.07188762367792]
ARSimは3次元合成オブジェクトを用いた実写多視点画像データの拡張を目的としたフレームワークである。
実データを用いて簡易な仮想シーンを構築し,その内部に戦略的に3D合成資産を配置する。
結果として得られたマルチビュー一貫性のあるデータセットは、自動運転車のためのマルチカメラ知覚ネットワークのトレーニングに使用される。
論文 参考訳(メタデータ) (2024-03-22T17:49:11Z) - Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous
Driving Research [76.93956925360638]
Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。
TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。
我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
論文 参考訳(メタデータ) (2023-10-12T20:49:15Z) - Learning to Simulate Realistic LiDARs [66.7519667383175]
リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。
本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。
我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
論文 参考訳(メタデータ) (2022-09-22T13:12:54Z) - BITS: Bi-level Imitation for Traffic Simulation [38.28736985320897]
データ駆動型アプローチを採用し,実世界の走行ログから交通挙動を学習する手法を提案する。
我々は,2つの大規模運転データセットのシナリオを用いて,BITS(Bi-level Imitation for Traffic Simulation)という手法を実証的に検証した。
コアコントリビューションの一環として、さまざまな駆動データセットにまたがるデータフォーマットを統合するソフトウェアツールを開発し、オープンソース化しています。
論文 参考訳(メタデータ) (2022-08-26T02:17:54Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳(メタデータ) (2022-08-16T20:46:08Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳(メタデータ) (2021-11-15T18:37:43Z) - Unlimited Resolution Image Generation with R2D2-GANs [69.90258455164513]
本稿では,任意の解像度の高品質な画像を生成するための新しいシミュレーション手法を提案する。
この方法では、フル長のミッション中に収集したソナースキャンと同等の大きさのソナースキャンを合成することができる。
生成されたデータは、連続的で、現実的に見え、また、取得の実際の速度の少なくとも2倍の速さで生成される。
論文 参考訳(メタデータ) (2020-03-02T17:49:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。