論文の概要: Exploring Generative AI for Sim2Real in Driving Data Synthesis
- arxiv url: http://arxiv.org/abs/2404.09111v1
- Date: Sun, 14 Apr 2024 01:23:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 15:27:43.973615
- Title: Exploring Generative AI for Sim2Real in Driving Data Synthesis
- Title（参考訳）: 運転データ合成におけるSim2Realのための生成AIの探索
- Authors: Haonan Zhao, Yiting Wang, Thomas Bashford-Rogers, Valentina Donzella, Kurt Debattista,
- Abstract要約: ドライビングシミュレータは、対応するアノテーションで様々なドライビングシナリオを自動的に生成するソリューションを提供するが、シミュレーションとリアリティ(Sim2Real)ドメインギャップは依然として課題である。
本稿では,現実的なデータセット作成のためのブリッジとして,運転シミュレータからのセマンティックラベルマップを活用するために,3つの異なる生成AI手法を適用した。
実験の結果,手動のアノテートラベルが提供されると,GANベースの手法は高品質な画像を生成するには適しているが,ControlNetは,シミュレータ生成ラベルを使用すると,より少ないアーティファクトとより構造的忠実度を持つ合成データセットを生成することがわかった。
- 参考スコア（独自算出の注目度）: 6.769182994217369
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Datasets are essential for training and testing vehicle perception algorithms. However, the collection and annotation of real-world images is time-consuming and expensive. Driving simulators offer a solution by automatically generating various driving scenarios with corresponding annotations, but the simulation-to-reality (Sim2Real) domain gap remains a challenge. While most of the Generative Artificial Intelligence (AI) follows the de facto Generative Adversarial Nets (GANs)-based methods, the recent emerging diffusion probabilistic models have not been fully explored in mitigating Sim2Real challenges for driving data synthesis. To explore the performance, this paper applied three different generative AI methods to leverage semantic label maps from a driving simulator as a bridge for the creation of realistic datasets. A comparative analysis of these methods is presented from the perspective of image quality and perception. New synthetic datasets, which include driving images and auto-generated high-quality annotations, are produced with low costs and high scene variability. The experimental results show that although GAN-based methods are adept at generating high-quality images when provided with manually annotated labels, ControlNet produces synthetic datasets with fewer artefacts and more structural fidelity when using simulator-generated labels. This suggests that the diffusion-based approach may provide improved stability and an alternative method for addressing Sim2Real challenges.
- Abstract（参考訳）: データセットは、車両認識アルゴリズムのトレーニングとテストに不可欠である。
しかし、実際の画像の収集とアノテーションは時間と費用がかかる。
ドライビングシミュレータは、対応するアノテーションで様々な駆動シナリオを自動的に生成するソリューションを提供するが、シミュレーションと現実(Sim2Real)ドメインギャップは依然として課題である。
生成人工知能(AI)の大半は、GAN(Generative Adversarial Nets)ベースのデファクトの手法に従っているが、最近の拡散確率モデルは、データ合成を駆動するSim2Realの課題を緩和するために完全には研究されていない。
そこで本研究では,現実的なデータセット作成のためのブリッジとして,運転シミュレータからのセマンティックラベルマップを活用するために,3つの異なる生成AI手法を適用した。
画像の質と知覚の観点から,これらの手法の比較分析を行った。
駆動画像と自動生成された高品質アノテーションを含む新しい合成データセットは、低コストで高シーン変動性で生成される。
実験結果から,手動アノテートラベルを用いた場合,GAN法は高品質な画像生成に適しているが,シミュレータ生成ラベルを用いた場合,より少ないアーティファクトとより構造的忠実度を有する合成データセットを生成することがわかった。
このことは拡散に基づくアプローチによって安定性が向上し、Sim2Real問題に対処するための代替手法が提供されることを示唆している。
関連論文リスト
- CARLA2Real: a tool for reducing the sim2real gap in CARLA simulator [2.8978140690127328]
我々は、シミュレーションデータのフォトリアリズムを高めるために最先端のアプローチを採用し、それらを実世界のデータセットの視覚的特徴と整合させる。
そこで我々はCARLA2Realを開発した。CARLA2Realは、広く使われているオープンソースのCARLAシミュレーターである。
このツールは、CARLAをほぼリアルタイムで出力し、13FPSのフレームレートを実現し、実世界のデータセットの視覚的スタイルとリアリズムに変換する。
論文 参考訳（メタデータ） (2024-10-23T19:33:30Z) - Automatic AI Model Selection for Wireless Systems: Online Learning via Digital Twinning [50.332027356848094]
AIベースのアプリケーションは、スケジューリングや電力制御などの機能を実行するために、インテリジェントコントローラにデプロイされる。
コンテキストとAIモデルのパラメータのマッピングは、ゼロショット方式で理想的に行われる。
本稿では,AMSマッピングのオンライン最適化のための一般的な手法を紹介する。
論文 参考訳（メタデータ） (2024-06-22T11:17:50Z) - SimGen: Simulator-conditioned Driving Scene Generation [50.03358485083602]
シミュレーション条件付きシーン生成フレームワークSimGenを紹介する。
SimGenは、シミュレータと現実世界のデータを混ぜることで、多様な運転シーンを生成することを学ぶ。
テキストプロンプトとシミュレータからのレイアウトに基づいて制御性を保ちながら、優れた生成品質と多様性を実現する。
論文 参考訳（メタデータ） (2024-06-13T17:58:32Z) - Are NeRFs ready for autonomous driving? Towards closing the real-to-simulation gap [6.393953433174051]
本稿では,実際のデータギャップに対処するための新しい視点を提案する。
自律運転環境における実シミュレーションデータギャップの大規模調査を初めて実施する。
シミュレーションデータに対するモデルロバスト性は顕著に向上し,実世界の性能も向上した。
論文 参考訳（メタデータ） (2024-03-24T11:09:41Z) - Augmented Reality based Simulated Data (ARSim) with multi-view consistency for AV perception networks [47.07188762367792]
ARSimは3次元合成オブジェクトを用いた実写多視点画像データの拡張を目的としたフレームワークである。
実データを用いて簡易な仮想シーンを構築し,その内部に戦略的に3D合成資産を配置する。
結果として得られたマルチビュー一貫性のあるデータセットは、自動運転車のためのマルチカメラ知覚ネットワークのトレーニングに使用される。
論文 参考訳（メタデータ） (2024-03-22T17:49:11Z) - BITS: Bi-level Imitation for Traffic Simulation [38.28736985320897]
データ駆動型アプローチを採用し,実世界の走行ログから交通挙動を学習する手法を提案する。
我々は,2つの大規模運転データセットのシナリオを用いて,BITS(Bi-level Imitation for Traffic Simulation)という手法を実証的に検証した。
コアコントリビューションの一環として、さまざまな駆動データセットにまたがるデータフォーマットを統合するソフトウェアツールを開発し、オープンソース化しています。
論文 参考訳（メタデータ） (2022-08-26T02:17:54Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳（メタデータ） (2022-08-16T20:46:08Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳（メタデータ） (2021-11-15T18:37:43Z) - Unlimited Resolution Image Generation with R2D2-GANs [69.90258455164513]
本稿では,任意の解像度の高品質な画像を生成するための新しいシミュレーション手法を提案する。
この方法では、フル長のミッション中に収集したソナースキャンと同等の大きさのソナースキャンを合成することができる。
生成されたデータは、連続的で、現実的に見え、また、取得の実際の速度の少なくとも2倍の速さで生成される。
論文 参考訳（メタデータ） (2020-03-02T17:49:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。