論文の概要: Adv3D: Generating 3D Adversarial Examples for 3D Object Detection in Driving Scenarios with NeRF

• arxiv url: http://arxiv.org/abs/2309.01351v2
• Date: Tue, 6 Aug 2024 02:58:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 19:41:33.897944
• Title: Adv3D: Generating 3D Adversarial Examples for 3D Object Detection in Driving Scenarios with NeRF
• Title（参考訳）: Adv3D: NeRFを用いた運転シナリオにおける3次元物体検出のための3次元逆解析例の生成
• Authors: Leheng Li, Qing Lian, Ying-Cong Chen,
• Abstract要約: Adv3DはNeural Radiance Fields (NeRFs)として初めて、敵の例をモデル化する。 NeRFは、フォトリアリスティックな外観と正確な3D生成を提供し、より現実的で実現可能な敵の例をもたらす。 本稿では,3次元パッチアタックをカモフラージュ対角テクスチャで実現するプリミティブ・アウェア・サンプリングとセマンティック・ガイドによる正規化を提案する。
• 参考スコア（独自算出の注目度）: 19.55666600076762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) have been proven extremely susceptible to adversarial examples, which raises special safety-critical concerns for DNN-based autonomous driving stacks (i.e., 3D object detection). Although there are extensive works on image-level attacks, most are restricted to 2D pixel spaces, and such attacks are not always physically realistic in our 3D world. Here we present Adv3D, the first exploration of modeling adversarial examples as Neural Radiance Fields (NeRFs). Advances in NeRF provide photorealistic appearances and 3D accurate generation, yielding a more realistic and realizable adversarial example. We train our adversarial NeRF by minimizing the surrounding objects' confidence predicted by 3D detectors on the training set. Then we evaluate Adv3D on the unseen validation set and show that it can cause a large performance reduction when rendering NeRF in any sampled pose. To generate physically realizable adversarial examples, we propose primitive-aware sampling and semantic-guided regularization that enable 3D patch attacks with camouflage adversarial texture. Experimental results demonstrate that the trained adversarial NeRF generalizes well to different poses, scenes, and 3D detectors. Finally, we provide a defense method to our attacks that involves adversarial training through data augmentation. Project page: https://len-li.github.io/adv3d-web
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、DNNベースの自律運転スタック(つまり3Dオブジェクト検出)に特別な安全上の懸念を生じさせる敵の例に非常に感受性があることが証明されている。 画像レベルの攻撃には広範な研究があるが、その多くは2Dピクセル空間に限定されており、このような攻撃は我々の3D世界で常に物理的に現実的であるとは限らない。 本稿では、ニューラルネットワーク場(Neural Radiance Fields, NeRFs)として、まず、敵の例をモデル化するAdv3Dを紹介する。 NeRFの進歩は、フォトリアリスティックな外観と正確な3D生成を提供し、より現実的で実現可能な敵の例をもたらす。 我々は、トレーニングセット上の3次元検出器によって予測される周囲の物体の信頼性を最小にすることで、敵のNeRFを訓練する。 次に、未確認の検証セット上でAdv3Dを評価し、サンプリングされたポーズでNeRFをレンダリングする際に大きな性能低下を引き起こすことを示す。 物理的に実現可能な逆向きの例を生成するために,カモフラージュ対向テクスチャを用いた3Dパッチ攻撃を可能にするプリミティブ・アウェア・サンプリングと意味誘導正規化を提案する。 実験結果から、訓練された対向性NeRFは、異なるポーズ、シーン、および3D検出器によく当てはまることが示された。 最後に,データ拡張による敵の訓練を含む攻撃に対する防御方法を提案する。 プロジェクトページ:https://len-li.github.io/adv3d-web

関連論文リスト

• NeRF-MAE: Masked AutoEncoders for Self-Supervised 3D Representation Learning for Neural Radiance Fields [57.617972778377215]
  提案手法は,RGB画像から有効な3D表現を生成する方法を示す。 我々は、この表現を、提案した擬似RGBデータに基づいて、180万枚以上の画像で事前訓練する。 我々は,NeRFの自己教師型プレトレーニングであるNeRF-MAE(NeRF-MAE)を目覚ましいスケールで実施し,様々な3Dタスクの性能向上を実現した。
  論文  参考訳（メタデータ） (2024-04-01T17:59:55Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Passive Defense Against 3D Adversarial Point Clouds Through the Lens of 3D Steganalysis [1.14219428942199]
  3次元逆転点雲検出器は3次元ステガナリシスのレンズを通して設計されている。 我々の知る限り、この研究は初めて3次元ステガナリシスを3次元対人防御に適用した。
  論文  参考訳（メタデータ） (2022-05-18T06:19:15Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• 3D-VField: Learning to Adversarially Deform Point Clouds for Robust 3D Object Detection [111.32054128362427]
  安全クリティカルな環境では、アウト・オブ・ディストリビューションとロングテールサンプルの堅牢性は、危険な問題を回避するのに不可欠である。 トレーニング中の変形点雲を考慮した3次元物体検出器の領域外データへの一般化を著しく改善する。 我々は、リアルに損傷を受けた稀な車の合成データセットであるCrashDを提案し、共有する。
  論文  参考訳（メタデータ） (2021-12-09T08:50:54Z)
• Generating Unrestricted 3D Adversarial Point Clouds [9.685291478330054]
  3Dポイントクラウドのディープラーニングは、いまだに敵の攻撃に弱い。 本稿では,現実的な3D点雲を生成するために,AdvGCGAN(Adversarial Graph-Convolutional Generative Adversarial Network)を提案する。
  論文  参考訳（メタデータ） (2021-11-17T08:30:18Z)
• Towards Universal Physical Attacks On Cascaded Camera-Lidar 3D Object Detection Models [16.7400223249581]
  マルチモーダル深層学習ネットワーク(DNN)に対する普遍的かつ物理的に実現可能な敵対的攻撃を提案する。 提案されたユニバーサルマルチモーダル攻撃は、モデルが車を73%近く検出する能力を低下させることに成功したことを示す。
  論文  参考訳（メタデータ） (2021-01-26T12:40:34Z)
• Exploring Adversarial Robustness of Multi-Sensor Perception Systems in Self Driving [87.3492357041748]
  本稿では,敵物体をホスト車両の上に配置することで,マルチセンサ検出の実用的感受性を示す。 実験の結果, 攻撃が成功した原因は主に画像の特徴が損なわれやすいことが判明した。 よりロバストなマルチモーダル知覚システムに向けて,特徴分断を伴う敵対的訓練が,このような攻撃に対するロバスト性を大幅に高めることを示す。
  論文  参考訳（メタデータ） (2021-01-17T21:15:34Z)
• Fast and Furious: Real Time End-to-End 3D Detection, Tracking and Motion Forecasting with a Single Convolutional Net [93.51773847125014]
  本研究では,3Dセンサが捉えたデータを用いて,3D検出,追跡,動作予測を共同で推論する,新たなディープニューラルネットワークを提案する。 鳥の眼球を3次元の世界として表現し,空間と時間にまたがる3次元畳み込みを行う。
  論文  参考訳（メタデータ） (2020-12-22T22:43:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。