論文の概要: Are NeRFs ready for autonomous driving? Towards closing the real-to-simulation gap
- arxiv url: http://arxiv.org/abs/2403.16092v2
- Date: Mon, 15 Apr 2024 10:06:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 20:00:41.613784
- Title: Are NeRFs ready for autonomous driving? Towards closing the real-to-simulation gap
- Title（参考訳）: NeRFは自動運転が可能か? : 現実とシミュレーションのギャップを埋めるために
- Authors: Carl Lindström, Georg Hess, Adam Lilja, Maryam Fatemi, Lars Hammarstrand, Christoffer Petersson, Lennart Svensson,
- Abstract要約: 本稿では,実際のデータギャップに対処するための新しい視点を提案する。
自律運転環境における実シミュレーションデータギャップの大規模調査を初めて実施する。
シミュレーションデータに対するモデルロバスト性は顕著に向上し,実世界の性能も向上した。
- 参考スコア（独自算出の注目度）: 6.393953433174051
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Radiance Fields (NeRFs) have emerged as promising tools for advancing autonomous driving (AD) research, offering scalable closed-loop simulation and data augmentation capabilities. However, to trust the results achieved in simulation, one needs to ensure that AD systems perceive real and rendered data in the same way. Although the performance of rendering methods is increasing, many scenarios will remain inherently challenging to reconstruct faithfully. To this end, we propose a novel perspective for addressing the real-to-simulated data gap. Rather than solely focusing on improving rendering fidelity, we explore simple yet effective methods to enhance perception model robustness to NeRF artifacts without compromising performance on real data. Moreover, we conduct the first large-scale investigation into the real-to-simulated data gap in an AD setting using a state-of-the-art neural rendering technique. Specifically, we evaluate object detectors and an online mapping model on real and simulated data, and study the effects of different fine-tuning strategies.Our results show notable improvements in model robustness to simulated data, even improving real-world performance in some cases. Last, we delve into the correlation between the real-to-simulated gap and image reconstruction metrics, identifying FID and LPIPS as strong indicators. See https://research.zenseact.com/publications/closing-real2sim-gap for our project page.
- Abstract（参考訳）: Neural Radiance Fields(NeRF)は、スケーラブルなクローズドループシミュレーションとデータ拡張機能を提供する、自律走行(AD)研究を進めるための有望なツールとして登場した。
しかし、シミュレーションで得られた結果を信頼するためには、ADシステムが実データやレンダリングデータを同じように知覚することを保証する必要がある。
レンダリング手法の性能は向上しているが、多くのシナリオは本質的に忠実に再構築することが困難である。
そこで本研究では,実際のデータギャップに対処するための新しい視点を提案する。
レンダリングの忠実性の向上にのみ焦点をあてるのではなく、実際のデータの性能を損なうことなく、NeRFアーチファクトに対する知覚モデルロバスト性を高めるための単純かつ効果的な方法を模索する。
さらに、我々は、最先端のニューラルネットワークレンダリング技術を用いて、AD設定における実際のシミュレーションデータギャップについて、初めて大規模な調査を行う。
具体的には、オブジェクト検出器とオンラインマッピングモデルを実データおよび模擬データ上で評価し、異なる微調整戦略の効果について検討した。
最後に,FIDとLPIPSを指標として,実シミュレーションギャップと画像再構成の相関について検討した。
プロジェクトのページはhttps://research.zenseact.com/publications/closing-real2sim-gapを参照してください。
関連論文リスト
- CARLA2Real: a tool for reducing the sim2real gap in CARLA simulator [2.8978140690127328]
我々は、シミュレーションデータのフォトリアリズムを高めるために最先端のアプローチを採用し、それらを実世界のデータセットの視覚的特徴と整合させる。
そこで我々はCARLA2Realを開発した。CARLA2Realは、広く使われているオープンソースのCARLAシミュレーターである。
このツールは、CARLAをほぼリアルタイムで出力し、13FPSのフレームレートを実現し、実世界のデータセットの視覚的スタイルとリアリズムに変換する。
論文 参考訳（メタデータ） (2024-10-23T19:33:30Z) - Uncertainty modeling for fine-tuned implicit functions [10.902709236602536]
入射関数は、スパースビューから詳細な物体形状を再構成するコンピュータビジョンにおいて重要な役割を担っている。
暗黙関数における不確実性推定手法であるDropsemblesを導入する。
その結果,Dropsemblesは深層アンサンブルの精度とキャリブレーションレベルを達成するが,計算コストは著しく低いことがわかった。
論文 参考訳（メタデータ） (2024-06-17T20:46:18Z) - Assessing Quality Metrics for Neural Reality Gap Input Mitigation in Autonomous Driving Testing [2.194575078433007]
自動走行システム(ADS)のシミュレーションベースのテストは業界標準であり、現実世界のテストに対する制御され、安全で費用対効果の高い代替手段である。
これらの利点にもかかわらず、仮想シミュレーションは画像の忠実さ、テクスチャ表現、環境の正確さといった現実世界の状態を正確に再現することができないことが多い。
これは、シミュレートされたドメインと実世界のドメイン間のADSの挙動に大きな違いをもたらす可能性がある。
研究者は、画像から画像へのニューラルトランスレーション(I2I)を使用して、シミュレートされた環境のリアリズムを高め、合成データをより本物にすることで、シミュレートされた環境のリアリズムを高めた。
論文 参考訳（メタデータ） (2024-04-29T10:37:38Z) - Bridging the Sim-to-Real Gap with Bayesian Inference [53.61496586090384]
データからロボットダイナミクスを学習するためのSIM-FSVGDを提案する。
我々は、ニューラルネットワークモデルのトレーニングを規則化するために、低忠実度物理プリエンスを使用します。
高性能RCレースカーシステムにおけるSIM-to-realギャップのブリッジ化におけるSIM-FSVGDの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-25T11:29:32Z) - A Unified Generative Framework for Realistic Lidar Simulation in Autonomous Driving Systems [10.036860459686526]
Lidarは、Autonomous Driving Systemsの知覚センサーの中で広く使われているセンサーである。
深層生成モデルは、現実的な感覚データを合成するための有望な解決策として現れてきた。
本稿では,Lidarシミュレーションの忠実度を高めるための統一的な生成フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-25T21:55:00Z) - A New Benchmark: On the Utility of Synthetic Data with Blender for Bare
Supervised Learning and Downstream Domain Adaptation [42.2398858786125]
コンピュータビジョンにおけるディープラーニングは、大規模ラベル付きトレーニングデータの価格で大きな成功を収めた。
制御不能なデータ収集プロセスは、望ましくない重複が存在する可能性のある非IIDトレーニングおよびテストデータを生成する。
これを回避するために、ドメインランダム化による3Dレンダリングによる合成データを生成する方法がある。
論文 参考訳（メタデータ） (2023-03-16T09:03:52Z) - Learning to Simulate Realistic LiDARs [66.7519667383175]
リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。
本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。
我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
論文 参考訳（メタデータ） (2022-09-22T13:12:54Z) - Towards Scale Consistent Monocular Visual Odometry by Learning from the
Virtual World [83.36195426897768]
仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。
まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。
結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
論文 参考訳（メタデータ） (2022-03-11T01:51:54Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳（メタデータ） (2021-11-15T18:37:43Z) - Attention-based Adversarial Appearance Learning of Augmented Pedestrians [49.25430012369125]
本稿では,歩行者認識タスクのための現実的なデータを合成する手法を提案する。
本手法は, 対向的損失によって駆動される注意機構を用いて, ドメインの相違を学習する。
提案手法はこのような不一致に対して頑健であり,視覚的リアリズムと意味的整合性の両方を明らかにする。
論文 参考訳（メタデータ） (2021-07-06T15:27:00Z) - SimAug: Learning Robust Representations from Simulation for Trajectory
Prediction [78.91518036949918]
本研究では,シミュレーション学習データの拡張により,ロバスト表現を学習する新しい手法を提案する。
我々は,SimAugが実世界の3つのベンチマークで有望な結果を得ることを示す。
論文 参考訳（メタデータ） (2020-04-04T21:22:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。