論文の概要: Towards Practical Deployment-Stage Backdoor Attack on Deep Neural
Networks
- arxiv url: http://arxiv.org/abs/2111.12965v1
- Date: Thu, 25 Nov 2021 08:25:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 10:02:56.816857
- Title: Towards Practical Deployment-Stage Backdoor Attack on Deep Neural
Networks
- Title（参考訳）: ディープニューラルネットワークの実践的展開ステージバックドア攻撃に向けて
- Authors: Xiangyu Qi, Tinghao Xie, Ruizhe Pan, Jifeng Zhu, Yong Yang, Kai Bu
- Abstract要約: ディープラーニングモデルに対するデプロイステージバックドア攻撃の現実的な脅威について検討する。
バックドアインジェクションのための最初のグレーボックスと物理的に実現可能な重み攻撃アルゴリズムを提案する。
本研究は,攻撃アルゴリズムの有効性と実用性を示すものである。
- 参考スコア（独自算出の注目度）: 5.231607386266116
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One major goal of the AI security community is to securely and reliably
produce and deploy deep learning models for real-world applications. To this
end, data poisoning based backdoor attacks on deep neural networks (DNNs) in
the production stage (or training stage) and corresponding defenses are
extensively explored in recent years. Ironically, backdoor attacks in the
deployment stage, which can often happen in unprofessional users' devices and
are thus arguably far more threatening in real-world scenarios, draw much less
attention of the community. We attribute this imbalance of vigilance to the
weak practicality of existing deployment-stage backdoor attack algorithms and
the insufficiency of real-world attack demonstrations. To fill the blank, in
this work, we study the realistic threat of deployment-stage backdoor attacks
on DNNs. We base our study on a commonly used deployment-stage attack paradigm
-- adversarial weight attack, where adversaries selectively modify model
weights to embed backdoor into deployed DNNs. To approach realistic
practicality, we propose the first gray-box and physically realizable weights
attack algorithm for backdoor injection, namely subnet replacement attack
(SRA), which only requires architecture information of the victim model and can
support physical triggers in the real world. Extensive experimental simulations
and system-level real-world attack demonstrations are conducted. Our results
not only suggest the effectiveness and practicality of the proposed attack
algorithm, but also reveal the practical risk of a novel type of computer virus
that may widely spread and stealthily inject backdoor into DNN models in user
devices. By our study, we call for more attention to the vulnerability of DNNs
in the deployment stage.
- Abstract（参考訳）: AIセキュリティコミュニティの大きな目標のひとつは、現実世界のアプリケーションのためのディープラーニングモデルを安全かつ確実に生成し、デプロイすることだ。
この目的のために、プロダクションステージ(あるいはトレーニングステージ)におけるディープニューラルネットワーク(dnn)に対するデータ中毒ベースのバックドア攻撃や、それに対応する防御策が近年広く検討されている。
皮肉なことに、デプロイ段階でのバックドア攻撃は、プロでないユーザのデバイスで頻繁に起こり、現実世界のシナリオではるかに脅威になっているため、コミュニティの注意をはるかに少なくする。
この警戒の不均衡は、既存の展開段階のバックドア攻撃アルゴリズムの弱い実用性と、実世界の攻撃デモの不十分さに起因する。
そこで本研究では,DNNに対するデプロイステージバックドア攻撃の現実的な脅威について検討する。
私たちは、一般的なデプロイメントステージ攻撃パラダイムである、敵の重み攻撃(adversarial weight attack)に基づいて、敵がデプロイされたdnnにバックドアを埋め込むためにモデル重みを選択的に変更します。
そこで本研究では, 被害者モデルのアーキテクチャ情報のみを必要とせず, 実世界の物理的トリガをサポートするサブネット置換アタック (sra) というバックドアインジェクションのための, 初のグレイボックスと物理的に実現可能な重み付けアタックアルゴリズムを提案する。
大規模実験シミュレーションとシステムレベルの実世界攻撃実証を行う。
本研究は,攻撃アルゴリズムの有効性と実用性を示唆するだけでなく,ユーザデバイスのDNNモデルにバックドアを密かに注入する新たなタイプのコンピュータウイルスの実用的リスクを明らかにする。
本稿では,デプロイメントステージにおけるDNNの脆弱性について,より注意を払っている。
関連論文リスト
- Flashy Backdoor: Real-world Environment Backdoor Attack on SNNs with DVS Cameras [11.658496836117907]
スパイキングニューラルネットワーク(SNN)を用いた実環境におけるバックドアアタックの初評価について述べる。
本稿では,SNNに新たな3つのバックドア攻撃手法,すなわちFramed,Strobing,F Flashy Backdoorを提案する。
本研究は, バックドア攻撃に対するSNNベースのシステムのセキュリティと, 現実のシナリオにおける安全性を確保するために, さらなる研究が必要であることを示すものである。
論文 参考訳（メタデータ） (2024-11-05T11:44:54Z) - BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive
Learning [85.2564206440109]
本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。
バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
論文 参考訳（メタデータ） (2023-11-20T02:21:49Z) - Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアアタックは、訓練段階の脅威を脅かしている。
軽度で目に見えないバックドアアタック(SIBA)を提案する。
論文 参考訳（メタデータ） (2023-05-11T10:05:57Z) - Untargeted Backdoor Attack against Object Detection [69.63097724439886]
我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。
攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
論文 参考訳（メタデータ） (2022-11-02T17:05:45Z) - On the Effectiveness of Adversarial Training against Backdoor Attacks [111.8963365326168]
バックドアモデルは、事前に定義されたトリガーパターンが存在する場合、常にターゲットクラスを予測する。
一般的には、敵の訓練はバックドア攻撃に対する防御であると信じられている。
本稿では,様々なバックドア攻撃に対して良好な堅牢性を提供するハイブリッド戦略を提案する。
論文 参考訳（メタデータ） (2022-02-22T02:24:46Z) - An Overview of Backdoor Attacks Against Deep Neural Networks and
Possible Defences [33.415612094924654]
本研究の目的は,これまでに提案された攻撃・防衛の多種多様さを概観することである。
バックドア攻撃では、攻撃者はトレーニングデータを破損し、テスト時に誤動作を誘発する。
テストタイムエラーは、適切に作成された入力サンプルに対応するトリガーイベントの存在下でのみ起動される。
論文 参考訳（メタデータ） (2021-11-16T13:06:31Z) - Check Your Other Door! Establishing Backdoor Attacks in the Frequency
Domain [80.24811082454367]
検出不能で強力なバックドア攻撃を確立するために周波数領域を利用する利点を示す。
また、周波数ベースのバックドア攻撃を成功させる2つの防御方法と、攻撃者がそれらを回避できる可能性を示す。
論文 参考訳（メタデータ） (2021-09-12T12:44:52Z) - Subnet Replacement: Deployment-stage backdoor attack against deep neural
networks in gray-box setting [3.69409109715429]
本研究では,DNN(Deep Neural Network)に対するバックドアアタック(バックドアアタック)の現実的可能性について検討する。
本稿では,限られた数のモデルパラメータを直接修正することで,バックドアをDNNに埋め込むことのできるSubnet Replacement Attack (SRA)を提案する。
論文 参考訳（メタデータ） (2021-07-15T10:47:13Z) - The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。
敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
論文 参考訳（メタデータ） (2021-06-26T10:50:07Z) - WaNet -- Imperceptible Warping-based Backdoor Attack [20.289889150949836]
サードパーティーのモデルは、通常の状況でうまく機能するようにトレーニング中に毒を盛るが、トリガーパターンが現れると悪質に振る舞う。
本稿では,サードパーティモデルに対してワーピングベースのトリガーを用いた攻撃手法を提案する。
提案したバックドアは、人間の検査試験における従来の方法よりも広いマージンで優れており、そのステルス性を証明している。
論文 参考訳（メタデータ） (2021-02-20T15:25:36Z) - Light Can Hack Your Face! Black-box Backdoor Attack on Face Recognition
Systems [0.0]
顔認識システムにおけるブラックボックスバックドア攻撃手法を提案する。
バックドアトリガは極めて効果的であり、攻撃成功率は最大で88%である。
本研究は,既存の顔認識/検証技術のセキュリティ問題に注意を喚起する,新たな物理的バックドア攻撃を明らかにしたことを強調した。
論文 参考訳（メタデータ） (2020-09-15T11:50:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。