論文の概要: Exploring Generative AI for Sim2Real in Driving Data Synthesis
- arxiv url: http://arxiv.org/abs/2404.09111v1
- Date: Sun, 14 Apr 2024 01:23:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-04-16 15:27:43.973615
- Title: Exploring Generative AI for Sim2Real in Driving Data Synthesis
- Title（参考訳）: 運転データ合成におけるSim2Realのための生成AIの探索
- Authors: Haonan Zhao, Yiting Wang, Thomas Bashford-Rogers, Valentina Donzella, Kurt Debattista,
- Abstract要約: ドライビングシミュレータは、対応するアノテーションで様々なドライビングシナリオを自動的に生成するソリューションを提供するが、シミュレーションとリアリティ(Sim2Real)ドメインギャップは依然として課題である。
本稿では,現実的なデータセット作成のためのブリッジとして,運転シミュレータからのセマンティックラベルマップを活用するために,3つの異なる生成AI手法を適用した。
実験の結果,手動のアノテートラベルが提供されると,GANベースの手法は高品質な画像を生成するには適しているが,ControlNetは,シミュレータ生成ラベルを使用すると,より少ないアーティファクトとより構造的忠実度を持つ合成データセットを生成することがわかった。
- 参考スコア（独自算出の注目度）: 6.769182994217369
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Datasets are essential for training and testing vehicle perception algorithms. However, the collection and annotation of real-world images is time-consuming and expensive. Driving simulators offer a solution by automatically generating various driving scenarios with corresponding annotations, but the simulation-to-reality (Sim2Real) domain gap remains a challenge. While most of the Generative Artificial Intelligence (AI) follows the de facto Generative Adversarial Nets (GANs)-based methods, the recent emerging diffusion probabilistic models have not been fully explored in mitigating Sim2Real challenges for driving data synthesis. To explore the performance, this paper applied three different generative AI methods to leverage semantic label maps from a driving simulator as a bridge for the creation of realistic datasets. A comparative analysis of these methods is presented from the perspective of image quality and perception. New synthetic datasets, which include driving images and auto-generated high-quality annotations, are produced with low costs and high scene variability. The experimental results show that although GAN-based methods are adept at generating high-quality images when provided with manually annotated labels, ControlNet produces synthetic datasets with fewer artefacts and more structural fidelity when using simulator-generated labels. This suggests that the diffusion-based approach may provide improved stability and an alternative method for addressing Sim2Real challenges.
- Abstract（参考訳）: データセットは、車両認識アルゴリズムのトレーニングとテストに不可欠である。
しかし、実際の画像の収集とアノテーションは時間と費用がかかる。
ドライビングシミュレータは、対応するアノテーションで様々な駆動シナリオを自動的に生成するソリューションを提供するが、シミュレーションと現実(Sim2Real)ドメインギャップは依然として課題である。
生成人工知能(AI)の大半は、GAN(Generative Adversarial Nets)ベースのデファクトの手法に従っているが、最近の拡散確率モデルは、データ合成を駆動するSim2Realの課題を緩和するために完全には研究されていない。
そこで本研究では,現実的なデータセット作成のためのブリッジとして,運転シミュレータからのセマンティックラベルマップを活用するために,3つの異なる生成AI手法を適用した。
画像の質と知覚の観点から,これらの手法の比較分析を行った。
駆動画像と自動生成された高品質アノテーションを含む新しい合成データセットは、低コストで高シーン変動性で生成される。
実験結果から,手動アノテートラベルを用いた場合,GAN法は高品質な画像生成に適しているが,シミュレータ生成ラベルを用いた場合,より少ないアーティファクトとより構造的忠実度を有する合成データセットを生成することがわかった。
このことは拡散に基づくアプローチによって安定性が向上し、Sim2Real問題に対処するための代替手法が提供されることを示唆している。
関連論文リスト
- DiffusionHarmonizer: Bridging Neural Reconstruction and Photorealistic Simulation with Online Diffusion Enhancer [62.18680935878919]
レンダリングを時間的に一貫した出力に変換するオンライン生成拡張フレームワークであるDiffusionHarmonizerを紹介した。
コアとなるのは、単一のGPU上でオンラインシミュレータで実行可能な、一段階の時間的条件付きエンハンサーである。
論文 参考訳（メタデータ） (2026-02-27T15:35:30Z) - Physics Informed Generative AI Enabling Labour Free Segmentation For Microscopy Analysis [3.3176565054468714]
本稿では、シミュレーションと現実のギャップを埋めることのできる、労働自由化のための新しい枠組みを提案する。
我々は、不対向画像画像変換にCycleGAN(Cycle-Consistent Generative Adversarial Network)を用いる。
この合成データに特化して訓練されたU-Netモデルは、目に見えない実験画像に展開する際、顕著な一般化を示した。
論文 参考訳（メタデータ） (2026-02-02T06:36:06Z) - SynthDrive: Scalable Real2Sim2Real Sensor Simulation Pipeline for High-Fidelity Asset Generation and Driving Data Synthesis [13.334087135075313]
本稿では,3次元生成を活用して資源マイニング,生成,レアケースデータ合成を自動化するスケーラブルなReal2sim2realシステムを提案する。
本稿では,Real2sim2realが,頑健な知覚訓練に必要な多数の稀なケースにどのようにスケールできるかを示す。
論文 参考訳（メタデータ） (2025-09-08T15:29:49Z) - Synthetic Dataset Generation for Autonomous Mobile Robots Using 3D Gaussian Splatting for Vision Training [0.708987965338602]
本論文では,Unreal Engineにおける注釈付き合成データの自動生成手法を提案する。
合成データセットが実世界のデータセットに匹敵する性能を達成できることを実証する。
これは、ロボットサッカーにおけるオブジェクト検出アルゴリズムのトレーニングのための合成データの最初の応用である。
論文 参考訳（メタデータ） (2025-06-05T14:37:40Z) - RealEngine: Simulating Autonomous Driving in Realistic Context [60.55873455475112]
RealEngineは3Dシーン再構成と新しいビュー合成技術を統合する新しい運転シミュレーションフレームワークである。
実世界のマルチモーダルセンサーデータを活用することで、RealEngineはバックグラウンドシーンとフォアグラウンドトラフィック参加者を別々に再構築し、非常に多様な現実的なトラフィックシナリオを実現する。
RealEngineは、非反応性シミュレーション、安全性テスト、マルチエージェントインタラクションの3つの重要な駆動シミュレーションカテゴリをサポートしている。
論文 参考訳（メタデータ） (2025-05-22T17:01:00Z) - Unraveling the Effects of Synthetic Data on End-to-End Autonomous Driving [35.49042205415498]
SceneCrafterは3Dガウススプレイティングに基づくリアルでインタラクティブで効率的な自動運転シミュレータである(3DGS)。
SceneCrafterは、さまざまなトラフィックシナリオにわたる現実的な運転ログを効率的に生成する。
また、エンドツーエンドモデルの堅牢なクローズドループ評価を可能にする。
論文 参考訳（メタデータ） (2025-03-23T15:27:43Z) - JiSAM: Alleviate Labeling Burden and Corner Case Problems in Autonomous Driving via Minimal Real-World Data [49.2298619289506]
本稿では,ジッタリング強化,ドメイン認識バックボーン,メモリに基づくセクタライズAlignMentのためのJiSAMというプラグイン・アンド・プレイ手法を提案する。
有名なADデータセットであるNuScenesで実施された広範な実験において、SOTA 3Dオブジェクト検出器を用いて、JiSAMはシミュレーションデータと2.5%の実データにラベルを付けるだけで、実データで訓練されたモデルに匹敵する性能が得られることを示した。
論文 参考訳（メタデータ） (2025-03-11T13:35:39Z) - CARLA2Real: a tool for reducing the sim2real gap in CARLA simulator [2.8978140690127328]
我々は、シミュレーションデータのフォトリアリズムを高めるために最先端のアプローチを採用し、それらを実世界のデータセットの視覚的特徴と整合させる。
そこで我々はCARLA2Realを開発した。CARLA2Realは、広く使われているオープンソースのCARLAシミュレーターである。
このツールは、CARLAをほぼリアルタイムで出力し、13FPSのフレームレートを実現し、実世界のデータセットの視覚的スタイルとリアリズムに変換する。
論文 参考訳（メタデータ） (2024-10-23T19:33:30Z) - XLD: A Cross-Lane Dataset for Benchmarking Novel Driving View Synthesis [84.23233209017192]
本稿では,新しい駆動ビュー合成評価のための合成データセットを提案する。
トレーニングコースから逸脱した画像を1～4ドル(約1,400円)で撮影する。
我々は、フロントオンリーおよびマルチカメラ設定下で、既存のNVSアプローチを評価するための最初の現実的なベンチマークを確立する。
論文 参考訳（メタデータ） (2024-06-26T14:00:21Z) - Automatic AI Model Selection for Wireless Systems: Online Learning via Digital Twinning [50.332027356848094]
AIベースのアプリケーションは、スケジューリングや電力制御などの機能を実行するために、インテリジェントコントローラにデプロイされる。
コンテキストとAIモデルのパラメータのマッピングは、ゼロショット方式で理想的に行われる。
本稿では,AMSマッピングのオンライン最適化のための一般的な手法を紹介する。
論文 参考訳（メタデータ） (2024-06-22T11:17:50Z) - SimGen: Simulator-conditioned Driving Scene Generation [50.03358485083602]
シミュレーション条件付きシーン生成フレームワークSimGenを紹介する。
SimGenは、シミュレータと現実世界のデータを混ぜることで、多様な運転シーンを生成することを学ぶ。
テキストプロンプトとシミュレータからのレイアウトに基づいて制御性を保ちながら、優れた生成品質と多様性を実現する。
論文 参考訳（メタデータ） (2024-06-13T17:58:32Z) - Are NeRFs ready for autonomous driving? Towards closing the real-to-simulation gap [6.393953433174051]
本稿では,実際のデータギャップに対処するための新しい視点を提案する。
自律運転環境における実シミュレーションデータギャップの大規模調査を初めて実施する。
シミュレーションデータに対するモデルロバスト性は顕著に向上し,実世界の性能も向上した。
論文 参考訳（メタデータ） (2024-03-24T11:09:41Z) - Augmented Reality based Simulated Data (ARSim) with multi-view consistency for AV perception networks [47.07188762367792]
ARSimは3次元合成オブジェクトを用いた実写多視点画像データの拡張を目的としたフレームワークである。
実データを用いて簡易な仮想シーンを構築し,その内部に戦略的に3D合成資産を配置する。
結果として得られたマルチビュー一貫性のあるデータセットは、自動運転車のためのマルチカメラ知覚ネットワークのトレーニングに使用される。
論文 参考訳（メタデータ） (2024-03-22T17:49:11Z) - BITS: Bi-level Imitation for Traffic Simulation [38.28736985320897]
データ駆動型アプローチを採用し,実世界の走行ログから交通挙動を学習する手法を提案する。
我々は,2つの大規模運転データセットのシナリオを用いて,BITS(Bi-level Imitation for Traffic Simulation)という手法を実証的に検証した。
コアコントリビューションの一環として、さまざまな駆動データセットにまたがるデータフォーマットを統合するソフトウェアツールを開発し、オープンソース化しています。
論文 参考訳（メタデータ） (2022-08-26T02:17:54Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳（メタデータ） (2022-08-16T20:46:08Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳（メタデータ） (2021-11-15T18:37:43Z) - Unlimited Resolution Image Generation with R2D2-GANs [69.90258455164513]
本稿では,任意の解像度の高品質な画像を生成するための新しいシミュレーション手法を提案する。
この方法では、フル長のミッション中に収集したソナースキャンと同等の大きさのソナースキャンを合成することができる。
生成されたデータは、連続的で、現実的に見え、また、取得の実際の速度の少なくとも2倍の速さで生成される。
論文 参考訳（メタデータ） (2020-03-02T17:49:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。