論文の概要: Adv3D: Generating 3D Adversarial Examples in Driving Scenarios with NeRF
- arxiv url: http://arxiv.org/abs/2309.01351v1
- Date: Mon, 4 Sep 2023 04:29:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 19:52:20.519855
- Title: Adv3D: Generating 3D Adversarial Examples in Driving Scenarios with NeRF
- Title(参考訳): Adv3D: NeRFを用いた運転シナリオにおける3次元逆転例の生成
- Authors: Leheng Li and Qing Lian and Ying-Cong Chen
- Abstract要約: Adv3DはNeural Radiance Fields (NeRFs)として初めて、敵の例をモデル化する。
NeRFは、フォトリアリスティックな外観と正確な3D生成を提供し、より現実的で実現可能な敵の例をもたらす。
本稿では,3次元パッチアタックをカモフラージュ対角テクスチャで実現するプリミティブ・アウェア・サンプリングとセマンティック・ガイドによる正規化を提案する。
- 参考スコア(独自算出の注目度): 21.979732716113997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks (DNNs) have been proven extremely susceptible to
adversarial examples, which raises special safety-critical concerns for
DNN-based autonomous driving stacks (i.e., 3D object detection). Although there
are extensive works on image-level attacks, most are restricted to 2D pixel
spaces, and such attacks are not always physically realistic in our 3D world.
Here we present Adv3D, the first exploration of modeling adversarial examples
as Neural Radiance Fields (NeRFs). Advances in NeRF provide photorealistic
appearances and 3D accurate generation, yielding a more realistic and
realizable adversarial example. We train our adversarial NeRF by minimizing the
surrounding objects' confidence predicted by 3D detectors on the training set.
Then we evaluate Adv3D on the unseen validation set and show that it can cause
a large performance reduction when rendering NeRF in any sampled pose. To
generate physically realizable adversarial examples, we propose primitive-aware
sampling and semantic-guided regularization that enable 3D patch attacks with
camouflage adversarial texture. Experimental results demonstrate that the
trained adversarial NeRF generalizes well to different poses, scenes, and 3D
detectors. Finally, we provide a defense method to our attacks that involves
adversarial training through data augmentation. Project page:
https://len-li.github.io/adv3d-web
- Abstract(参考訳): ディープニューラルネットワーク(DNN)は、DNNベースの自律運転スタック(つまり3Dオブジェクト検出)に特別な安全上の懸念を生じさせる敵の例に非常に感受性があることが証明されている。
画像レベルの攻撃には広範な研究があるが、その多くは2Dピクセル空間に限定されており、このような攻撃は我々の3D世界では必ずしも現実的ではない。
本稿では,ニューラル・ラミアンス・フィールド (nerfs) として,逆行例のモデル化を初めて行ったadv3dについて述べる。
NeRFの進歩は、フォトリアリスティックな外観と正確な3D生成を提供し、より現実的で実現可能な敵の例をもたらす。
訓練セット上の3d検出器によって予測される周囲の物体の信頼度を最小にすることで,敵のnerfを訓練する。
次に,未確認の検証セット上でadv3dを評価し,nerfを任意のサンプリングポーズでレンダリングする際に大きな性能低下を引き起こす可能性があることを示す。
物理的に実現可能な逆向きの例を生成するために,カモフラージュ対向テクスチャを用いた3Dパッチ攻撃を可能にするプリミティブ・アウェア・サンプリングと意味誘導正規化を提案する。
実験結果から、訓練された対向性NeRFは、異なるポーズ、シーン、および3D検出器によく当てはまることが示された。
最後に,データ拡張による敵対的トレーニングを含む攻撃に対する防御方法を提案する。
プロジェクトページ: https://len-li.github.io/adv3d-web
関連論文リスト
- NeRF-MAE: Masked AutoEncoders for Self-Supervised 3D Representation Learning for Neural Radiance Fields [57.617972778377215]
提案手法は,RGB画像から有効な3D表現を生成する方法を示す。
我々は、この表現を、提案した擬似RGBデータに基づいて、180万枚以上の画像で事前訓練する。
我々は,NeRFの自己教師型プレトレーニングであるNeRF-MAE(NeRF-MAE)を目覚ましいスケールで実施し,様々な3Dタスクの性能向上を実現した。
論文 参考訳(メタデータ) (2024-04-01T17:59:55Z) - PonderV2: Pave the Way for 3D Foundation Model with A Universal
Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳(メタデータ) (2023-10-12T17:59:57Z) - Passive Defense Against 3D Adversarial Point Clouds Through the Lens of
3D Steganalysis [1.14219428942199]
3次元逆転点雲検出器は3次元ステガナリシスのレンズを通して設計されている。
我々の知る限り、この研究は初めて3次元ステガナリシスを3次元対人防御に適用した。
論文 参考訳(メタデータ) (2022-05-18T06:19:15Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - 3D-VField: Learning to Adversarially Deform Point Clouds for Robust 3D
Object Detection [111.32054128362427]
安全クリティカルな環境では、アウト・オブ・ディストリビューションとロングテールサンプルの堅牢性は、危険な問題を回避するのに不可欠である。
トレーニング中の変形点雲を考慮した3次元物体検出器の領域外データへの一般化を著しく改善する。
我々は、リアルに損傷を受けた稀な車の合成データセットであるCrashDを提案し、共有する。
論文 参考訳(メタデータ) (2021-12-09T08:50:54Z) - Generating Unrestricted 3D Adversarial Point Clouds [9.685291478330054]
3Dポイントクラウドのディープラーニングは、いまだに敵の攻撃に弱い。
本稿では,現実的な3D点雲を生成するために,AdvGCGAN(Adversarial Graph-Convolutional Generative Adversarial Network)を提案する。
論文 参考訳(メタデータ) (2021-11-17T08:30:18Z) - Towards Universal Physical Attacks On Cascaded Camera-Lidar 3D Object
Detection Models [16.7400223249581]
マルチモーダル深層学習ネットワーク(DNN)に対する普遍的かつ物理的に実現可能な敵対的攻撃を提案する。
提案されたユニバーサルマルチモーダル攻撃は、モデルが車を73%近く検出する能力を低下させることに成功したことを示す。
論文 参考訳(メタデータ) (2021-01-26T12:40:34Z) - Exploring Adversarial Robustness of Multi-Sensor Perception Systems in
Self Driving [87.3492357041748]
本稿では,敵物体をホスト車両の上に配置することで,マルチセンサ検出の実用的感受性を示す。
実験の結果, 攻撃が成功した原因は主に画像の特徴が損なわれやすいことが判明した。
よりロバストなマルチモーダル知覚システムに向けて,特徴分断を伴う敵対的訓練が,このような攻撃に対するロバスト性を大幅に高めることを示す。
論文 参考訳(メタデータ) (2021-01-17T21:15:34Z) - Fast and Furious: Real Time End-to-End 3D Detection, Tracking and Motion
Forecasting with a Single Convolutional Net [93.51773847125014]
本研究では,3Dセンサが捉えたデータを用いて,3D検出,追跡,動作予測を共同で推論する,新たなディープニューラルネットワークを提案する。
鳥の眼球を3次元の世界として表現し,空間と時間にまたがる3次元畳み込みを行う。
論文 参考訳(メタデータ) (2020-12-22T22:43:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。