論文の概要: Benchmarking and Improving Bird's Eye View Perception Robustness in Autonomous Driving
- arxiv url: http://arxiv.org/abs/2405.17426v1
- Date: Mon, 27 May 2024 17:59:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 13:52:58.333642
- Title: Benchmarking and Improving Bird's Eye View Perception Robustness in Autonomous Driving
- Title（参考訳）: 自律運転における鳥の視線知覚ロバスト性の評価と改善
- Authors: Shaoyuan Xie, Lingdong Kong, Wenwei Zhang, Jiawei Ren, Liang Pan, Kai Chen, Ziwei Liu,
- Abstract要約: 本稿では,BEVアルゴリズムのレジリエンスを評価するためのベンチマークスイートであるRoboBEVを紹介する。
検出,マップセグメンテーション,深さ推定,占有予測といったタスクにまたがる33の最先端のBEVベースの知覚モデルを評価する。
また, 事前学習や深度自由なBEVトランスフォーメーションなどの戦略が, アウト・オブ・ディストリビューションデータに対するロバスト性を高める上で有効であることを示す。
- 参考スコア（独自算出の注目度）: 55.93813178692077
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent advancements in bird's eye view (BEV) representations have shown remarkable promise for in-vehicle 3D perception. However, while these methods have achieved impressive results on standard benchmarks, their robustness in varied conditions remains insufficiently assessed. In this study, we present RoboBEV, an extensive benchmark suite designed to evaluate the resilience of BEV algorithms. This suite incorporates a diverse set of camera corruption types, each examined over three severity levels. Our benchmarks also consider the impact of complete sensor failures that occur when using multi-modal models. Through RoboBEV, we assess 33 state-of-the-art BEV-based perception models spanning tasks like detection, map segmentation, depth estimation, and occupancy prediction. Our analyses reveal a noticeable correlation between the model's performance on in-distribution datasets and its resilience to out-of-distribution challenges. Our experimental results also underline the efficacy of strategies like pre-training and depth-free BEV transformations in enhancing robustness against out-of-distribution data. Furthermore, we observe that leveraging extensive temporal information significantly improves the model's robustness. Based on our observations, we design an effective robustness enhancement strategy based on the CLIP model. The insights from this study pave the way for the development of future BEV models that seamlessly combine accuracy with real-world robustness.
- Abstract（参考訳）: 近年の鳥眼視(BEV)表現の進歩は、車内3D知覚に顕著な可能性を秘めている。
しかし、これらの手法は標準ベンチマークでは目覚ましい結果を得たが、様々な条件下での頑健さは十分に評価されていない。
本研究では,BEVアルゴリズムのレジリエンスを評価するためのベンチマークスイートであるRoboBEVを提案する。
このスイートには、さまざまな種類のカメラの破損タイプが含まれており、それぞれが3つの重度レベルを調べている。
また,マルチモーダルモデルを用いた場合の完全なセンサ故障の影響についても検討した。
RoboBEVを通じて、検出、マップセグメンテーション、深さ推定、占有率予測といったタスクにまたがる33の最先端のBEVベースの知覚モデルを評価する。
分析の結果,分布内データセットにおけるモデルの性能と分布外課題に対するレジリエンスとの間には顕著な相関関係が認められた。
また, 事前学習や深度自由なBEVトランスフォーメーションなどの戦略が, アウト・オブ・ディストリビューションデータに対するロバスト性を高める上で有効であることを示す。
さらに、広範囲な時間的情報を活用することにより、モデルの堅牢性が大幅に向上することが観察された。
そこで我々は,CLIPモデルに基づく効果的なロバストネス向上戦略を設計した。
本研究から得られた知見は,精度と実世界のロバストネスをシームレスに組み合わせた将来のBEVモデル開発への道を開くものである。
関連論文リスト
- Uncertainty Quantification for Bird's Eye View Semantic Segmentation: Methods and Benchmarks [10.193504550494486]
本稿では,BEVセグメンテーションにおける予測不確実性定量化のためのベンチマークを提案する。
誤分類および非分布画素の識別における予測不確実性の有効性と校正に焦点が当てられている。
本研究では,不均衡なデータに対する不確実性-局所-クロス-エントロピー損失を提案し,セグメンテーションの品質とキャリブレーションを継続的に改善する。
論文 参考訳（メタデータ） (2024-05-31T16:32:46Z) - RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering
Assisted Distillation [50.35403070279804]
マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。
本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
論文 参考訳（メタデータ） (2023-12-19T03:39:56Z) - Diffusion-Based Particle-DETR for BEV Perception [94.88305708174796]
Bird-Eye-View (BEV)は、自律走行車(AV)における視覚知覚のための最も広く使われているシーンの1つである。
近年の拡散法は、視覚知覚のための不確実性モデリングに有望なアプローチを提供するが、BEVの広い範囲において、小さな物体を効果的に検出することができない。
本稿では,BEVにおける拡散パラダイムと最先端の3Dオブジェクト検出器を組み合わせることで,この問題に対処する。
論文 参考訳（メタデータ） (2023-12-18T09:52:14Z) - Instance-aware Multi-Camera 3D Object Detection with Structural Priors
Mining and Self-Boosting Learning [93.71280187657831]
カメラによる鳥眼視(BEV)知覚パラダイムは、自律運転分野において大きな進歩を遂げている。
画像平面のインスタンス認識をBEV検出器内の深度推定プロセスに統合するIA-BEVを提案する。
論文 参考訳（メタデータ） (2023-12-13T09:24:42Z) - Exploring the Physical World Adversarial Robustness of Vehicle Detection [13.588120545886229]
アドリアックは現実世界の検知モデルの堅牢性を損なう可能性がある。
CARLAシミュレータを用いた革新的なインスタントレベルデータ生成パイプラインを提案する。
本研究は, 逆境条件下での多種多様なモデル性能について考察した。
論文 参考訳（メタデータ） (2023-08-07T11:09:12Z) - OOD-CV-v2: An extended Benchmark for Robustness to Out-of-Distribution
Shifts of Individual Nuisances in Natural Images [59.51657161097337]
OOD-CV-v2は、ポーズ、形状、テクスチャ、コンテキスト、気象条件の10のオブジェクトカテゴリのアウト・オブ・ディストリビューションの例を含むベンチマークデータセットである。
この新たなデータセットに加えて、一般的なベースライン手法を用いた広範な実験にも貢献する。
論文 参考訳（メタデータ） (2023-04-17T20:39:25Z) - RoboBEV: Towards Robust Bird's Eye View Perception under Corruptions [34.111443808494506]
我々は、Bright、Dark、Fog、Snow、Motion Blur、Color Quant、Camera Crash、Frame Lostを含む8つの異なる汚職を含む総合的なベンチマークスイートであるRoboBEVを紹介した。
これに基づいて、我々は幅広いBEVベースのモデルに対して広範囲な評価を行い、そのレジリエンスと信頼性を理解します。
我々の発見は、現実の展開において正確性と堅牢性を両立できる将来のBEVモデルを設計するための貴重な洞察を提供する。
論文 参考訳（メタデータ） (2023-04-13T17:59:46Z) - Robo3D: Towards Robust and Reliable 3D Perception against Corruptions [58.306694836881235]
我々は,3次元検出器とセグメンタのロバスト性を,アウト・オブ・ディストリビューションのシナリオで検証するための,最初の総合的なベンチマークであるRobo3Dを紹介する。
気象条件の悪化,外乱,センサの故障などに起因する8種類の汚職について検討した。
本稿では,モデルレジリエンスを高めるための簡易なフレキシブルなボキセル化戦略とともに,密度に敏感なトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-30T17:59:17Z) - Understanding the Robustness of 3D Object Detection with Bird's-Eye-View
Representations in Autonomous Driving [31.98600806479808]
Bird's-Eye-View (BEV)表現は、一般的なベンチマークでカメラ入力を備えた3D検出器の性能を大幅に改善した。
様々な代表モデルの自然的・敵対的ロバスト性を広範囲な環境下で評価する。
本稿では,時間的3次元空間に逆パッチを適用して,その整合性を保証する3次元一貫したパッチアタックを提案する。
論文 参考訳（メタデータ） (2023-03-30T11:16:58Z) - DiffBEV: Conditional Diffusion Model for Bird's Eye View Perception [14.968177102647783]
そこで我々は,より包括的なBEV表現を生成するために拡散モデルの可能性を活用するために,DiffBEVというエンドツーエンドフレームワークを提案する。
実際に,粗いサンプルを識別し,意味的特徴を洗練する拡散モデルの訓練を指導する3種類の条件を設計する。
DiffBEV が nuScenes データセット上で 25.9% mIoU を達成することを示す。
論文 参考訳（メタデータ） (2023-03-15T02:42:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。