論文の概要: Understanding the Robustness of 3D Object Detection with Bird's-Eye-View
Representations in Autonomous Driving
- arxiv url: http://arxiv.org/abs/2303.17297v2
- Date: Sat, 16 Sep 2023 12:42:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 00:18:38.074430
- Title: Understanding the Robustness of 3D Object Detection with Bird's-Eye-View
Representations in Autonomous Driving
- Title（参考訳）: 自律運転におけるバードズ・アイ・ビュー表現による3次元物体検出のロバスト性理解
- Authors: Zijian Zhu, Yichi Zhang, Hai Chen, Yinpeng Dong, Shu Zhao, Wenbo Ding,
Jiachen Zhong and Shibao Zheng
- Abstract要約: Bird's-Eye-View (BEV)表現は、一般的なベンチマークでカメラ入力を備えた3D検出器の性能を大幅に改善した。
様々な代表モデルの自然的・敵対的ロバスト性を広範囲な環境下で評価する。
本稿では,時間的3次元空間に逆パッチを適用して,その整合性を保証する3次元一貫したパッチアタックを提案する。
- 参考スコア（独自算出の注目度）: 31.98600806479808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D object detection is an essential perception task in autonomous driving to
understand the environments. The Bird's-Eye-View (BEV) representations have
significantly improved the performance of 3D detectors with camera inputs on
popular benchmarks. However, there still lacks a systematic understanding of
the robustness of these vision-dependent BEV models, which is closely related
to the safety of autonomous driving systems. In this paper, we evaluate the
natural and adversarial robustness of various representative models under
extensive settings, to fully understand their behaviors influenced by explicit
BEV features compared with those without BEV. In addition to the classic
settings, we propose a 3D consistent patch attack by applying adversarial
patches in the 3D space to guarantee the spatiotemporal consistency, which is
more realistic for the scenario of autonomous driving. With substantial
experiments, we draw several findings: 1) BEV models tend to be more stable
than previous methods under different natural conditions and common corruptions
due to the expressive spatial representations; 2) BEV models are more
vulnerable to adversarial noises, mainly caused by the redundant BEV features;
3) Camera-LiDAR fusion models have superior performance under different
settings with multi-modal inputs, but BEV fusion model is still vulnerable to
adversarial noises of both point cloud and image. These findings alert the
safety issue in the applications of BEV detectors and could facilitate the
development of more robust models.
- Abstract（参考訳）: 3次元物体検出は、環境を理解するための自律運転において重要な認識課題である。
Bird's-Eye-View (BEV)表現は、一般的なベンチマークでカメラ入力を備えた3D検出器の性能を大幅に改善した。
しかしながら、自律運転システムの安全性と密接に関連している、これらの視覚依存型BEVモデルの堅牢性に関する体系的な理解はいまだに欠けている。
本稿では,様々な代表モデルの自然的・敵対的ロバスト性を広範囲な環境下で評価し,BEVのないモデルと比較して,明示的なBEV特徴の影響を十分に理解する。
古典的な設定に加えて、3d空間に逆のパッチを適用して、時空間的一貫性を保証することで、3d一貫性のあるパッチ攻撃を提案する。
かなりの実験でいくつかの発見が得られました
1)BEVモデルは,表現的空間表現による自然条件や共通汚職の下では,従来手法よりも安定である傾向にある。
2 BEVモデルは、主に冗長なBEVの特徴により、敵の騒音に弱い。
3)カメラ-LiDAR融合モデルはマルチモーダル入力の異なる設定下では優れた性能を示すが,BEV融合モデルはまだ点群と画像群の両方の対向雑音に対して脆弱である。
これらの発見は、BEV検出器の応用における安全性の問題に警告し、より堅牢なモデルの開発を促進する可能性がある。
関連論文リスト
- Robust Bird's Eye View Segmentation by Adapting DINOv2 [3.236198583140341]
低ランク適応(LoRA)を用いた視覚基礎モデルDINOv2をBEV推定に適用する。
我々の実験は、様々な汚職下でのBEV知覚の堅牢性を高めることを示した。
また,適応表現の有効性を,学習可能なパラメータの少ないこと,学習中の収束の高速化の観点から示す。
論文 参考訳（メタデータ） (2024-09-16T12:23:35Z) - Benchmarking and Improving Bird's Eye View Perception Robustness in Autonomous Driving [55.93813178692077]
本稿では,BEVアルゴリズムのレジリエンスを評価するためのベンチマークスイートであるRoboBEVを紹介する。
検出,マップセグメンテーション,深さ推定,占有予測といったタスクにまたがる33の最先端のBEVベースの知覚モデルを評価する。
また, 事前学習や深度自由なBEVトランスフォーメーションなどの戦略が, アウト・オブ・ディストリビューションデータに対するロバスト性を高める上で有効であることを示す。
論文 参考訳（メタデータ） (2024-05-27T17:59:39Z) - DA-BEV: Unsupervised Domain Adaptation for Bird's Eye View Perception [104.87876441265593]
カメラのみのBird's Eye View (BEV)は3次元空間における環境認識に大きな可能性を示した。
非教師なし領域適応型BEVは、様々な未ラベル対象データから効果的に学習するが、まだ未探索である。
DA-BEVは、画像ビュー機能とBEV機能の相補性を利用して、ドメイン適応型BEV課題に対処する、最初のドメイン適応型カメラのみのBEVフレームワークである。
論文 参考訳（メタデータ） (2024-01-13T04:21:24Z) - Diffusion-Based Particle-DETR for BEV Perception [94.88305708174796]
Bird-Eye-View (BEV)は、自律走行車(AV)における視覚知覚のための最も広く使われているシーンの1つである。
近年の拡散法は、視覚知覚のための不確実性モデリングに有望なアプローチを提供するが、BEVの広い範囲において、小さな物体を効果的に検出することができない。
本稿では,BEVにおける拡散パラダイムと最先端の3Dオブジェクト検出器を組み合わせることで,この問題に対処する。
論文 参考訳（メタデータ） (2023-12-18T09:52:14Z) - Instance-aware Multi-Camera 3D Object Detection with Structural Priors
Mining and Self-Boosting Learning [93.71280187657831]
カメラによる鳥眼視(BEV)知覚パラダイムは、自律運転分野において大きな進歩を遂げている。
画像平面のインスタンス認識をBEV検出器内の深度推定プロセスに統合するIA-BEVを提案する。
論文 参考訳（メタデータ） (2023-12-13T09:24:42Z) - Towards Efficient 3D Object Detection in Bird's-Eye-View Space for Autonomous Driving: A Convolutional-Only Approach [13.513005108086006]
BEVENetと呼ばれるBEVベースの効率的な3D検出フレームワークを提案する。
BEVENetは、NuScenesチャレンジに対する現代の最先端(SOTA)アプローチよりも3$times$高速である。
実験の結果,BEVENetは現代の最先端(SOTA)アプローチよりも3$times$高速であることがわかった。
論文 参考訳（メタデータ） (2023-12-01T14:52:59Z) - RoboBEV: Towards Robust Bird's Eye View Perception under Corruptions [34.111443808494506]
我々は、Bright、Dark、Fog、Snow、Motion Blur、Color Quant、Camera Crash、Frame Lostを含む8つの異なる汚職を含む総合的なベンチマークスイートであるRoboBEVを紹介した。
これに基づいて、我々は幅広いBEVベースのモデルに対して広範囲な評価を行い、そのレジリエンスと信頼性を理解します。
我々の発見は、現実の展開において正確性と堅牢性を両立できる将来のBEVモデルを設計するための貴重な洞察を提供する。
論文 参考訳（メタデータ） (2023-04-13T17:59:46Z) - Robo3D: Towards Robust and Reliable 3D Perception against Corruptions [58.306694836881235]
我々は,3次元検出器とセグメンタのロバスト性を,アウト・オブ・ディストリビューションのシナリオで検証するための,最初の総合的なベンチマークであるRobo3Dを紹介する。
気象条件の悪化,外乱,センサの故障などに起因する8種類の汚職について検討した。
本稿では,モデルレジリエンスを高めるための簡易なフレキシブルなボキセル化戦略とともに,密度に敏感なトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-30T17:59:17Z) - PersDet: Monocular 3D Detection in Perspective Bird's-Eye-View [26.264139933212892]
Bird's-Eye-View (BEV)は、自律走行とロボット工学のための他の3D検出器よりも優れている。
画像特徴をBEVに変換するには、特別なオペレーターが特徴サンプリングを行う必要がある。
特徴サンプリングを必要としない新しいBEV表現であるBEVの視点で物体を検出することを提案する。
論文 参考訳（メタデータ） (2022-08-19T15:19:20Z) - Exploring Adversarial Robustness of Multi-Sensor Perception Systems in
Self Driving [87.3492357041748]
本稿では,敵物体をホスト車両の上に配置することで,マルチセンサ検出の実用的感受性を示す。
実験の結果, 攻撃が成功した原因は主に画像の特徴が損なわれやすいことが判明した。
よりロバストなマルチモーダル知覚システムに向けて,特徴分断を伴う敵対的訓練が,このような攻撃に対するロバスト性を大幅に高めることを示す。
論文 参考訳（メタデータ） (2021-01-17T21:15:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。