論文の概要: Handcrafted Backdoors in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2106.04690v1
• Date: Tue, 8 Jun 2021 20:58:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 14:58:00.242241
• Title: Handcrafted Backdoors in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおける手作りバックドア
• Authors: Sanghyun Hong, Nicholas Carlini, Alexey Kurakin
• Abstract要約: トレーニング済みモデルのパラメータを直接操作してバックドアを注入する手工芸攻撃を導入する。 バックドアは4つのデータセットと4つのネットワークアーキテクチャで有効であり、成功率は96%を超えています。 以上の結果から,サプライチェーンバックドア攻撃の完全な空間を理解するためには,さらなる研究が必要であることが示唆された。
• 参考スコア（独自算出の注目度）: 33.21980707457639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs), while accurate, are expensive to train. Many practitioners, therefore, outsource the training process to third parties or use pre-trained DNNs. This practice makes DNNs vulnerable to $backdoor$ $attacks$: the third party who trains the model may act maliciously to inject hidden behaviors into the otherwise accurate model. Until now, the mechanism to inject backdoors has been limited to $poisoning$. We argue that such a supply-chain attacker has more attack techniques available. To study this hypothesis, we introduce a handcrafted attack that directly manipulates the parameters of a pre-trained model to inject backdoors. Our handcrafted attacker has more degrees of freedom in manipulating model parameters than poisoning. This makes it difficult for a defender to identify or remove the manipulations with straightforward methods, such as statistical analysis, adding random noises to model parameters, or clipping their values within a certain range. Further, our attacker can combine the handcrafting process with additional techniques, $e.g.$, jointly optimizing a trigger pattern, to inject backdoors into complex networks effectively$-$the meet-in-the-middle attack. In evaluations, our handcrafted backdoors remain effective across four datasets and four network architectures with a success rate above 96%. Our backdoored models are resilient to both parameter-level backdoor removal techniques and can evade existing defenses by slightly changing the backdoor attack configurations. Moreover, we demonstrate the feasibility of suppressing unwanted behaviors otherwise caused by poisoning. Our results suggest that further research is needed for understanding the complete space of supply-chain backdoor attacks.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は正確だが、トレーニングには高価だ。 したがって、多くの実践者は、トレーニングプロセスを第三者にアウトソースしたり、トレーニング済みのdnnを使用する。 このプラクティスにより、DNNは$backdoor$ $ attacks$: モデルをトレーニングするサードパーティは、悪意を持って行動し、非正確なモデルに隠れた振る舞いを注入する。 これまで、バックドアを注入するメカニズムは$poisoning$に制限されていた。 我々は、このようなサプライチェーン攻撃にはより多くの攻撃技術があると主張している。 本仮説では, バックドアを注入するために, トレーニング済みモデルのパラメータを直接操作する手技攻撃を導入する。 我々の手作りの攻撃者は毒よりもモデルパラメータを操作する自由度が高い。 これによりディフェンダーは、統計分析、モデルパラメータにランダムノイズの追加、あるいは特定の範囲内で値のクリップなど、簡単な方法で操作を識別または削除することが困難になる。 さらに、我々の攻撃者は手工芸プロセスと追加技術(例えば$)を組み合わせることで、トリガーパターンを共同で最適化し、複雑なネットワークにバックドアを効果的に$-$the meet-in-the-middle攻撃に注入することができる。 評価では、手作りのバックドアは4つのデータセットと4つのネットワークアーキテクチャで有効であり、成功率は96%を超えています。 我々のバックドアモデルはパラメータレベルのバックドア除去技術に耐性があり、バックドア攻撃構成をわずかに変更することで既存の防御を回避することができる。 さらに, 毒による不必要な行動の抑制の可能性を示した。 その結果,サプライチェーンバックドア攻撃の完全な空間を理解するためには,さらなる研究が必要であることが示唆された。

関連論文リスト

• Mitigating Backdoor Attack by Injecting Proactive Defensive Backdoor [63.84477483795964]
  データ中毒のバックドア攻撃は、機械学習モデルにとって深刻なセキュリティ上の脅威である。 本稿では,トレーニング中のバックドアディフェンスに着目し,データセットが有害になりうる場合でもクリーンなモデルをトレーニングすることを目的とした。 PDB(Proactive Defensive Backdoor)と呼ばれる新しい防衛手法を提案する。
  論文  参考訳（メタデータ） (2024-05-25T07:52:26Z)
• Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 バックドアアタックは、訓練段階の脅威を脅かしている。 軽度で目に見えないバックドアアタック(SIBA)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:05:57Z)
• Backdoor Defense via Deconfounded Representation Learning [17.28760299048368]
  我々は、信頼性の高い分類のための非定型表現を学ぶために、因果性に着想を得たバックドアディフェンス(CBD)を提案する。 CBDは、良性サンプルの予測において高い精度を維持しながら、バックドアの脅威を減らすのに有効である。
  論文  参考訳（メタデータ） (2023-03-13T02:25:59Z)
• BATT: Backdoor Attack with Transformation-based Triggers [72.61840273364311]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 バックドアの敵は、敵が特定したトリガーパターンによって活性化される隠れたバックドアを注入する。 最近の研究によると、既存の攻撃のほとんどは現実世界で失敗した。
  論文  参考訳（メタデータ） (2022-11-02T16:03:43Z)
• Check Your Other Door! Establishing Backdoor Attacks in the Frequency Domain [80.24811082454367]
  検出不能で強力なバックドア攻撃を確立するために周波数領域を利用する利点を示す。 また、周波数ベースのバックドア攻撃を成功させる2つの防御方法と、攻撃者がそれらを回避できる可能性を示す。
  論文  参考訳（メタデータ） (2021-09-12T12:44:52Z)
• Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
  モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。 バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:40Z)
• Light Can Hack Your Face! Black-box Backdoor Attack on Face Recognition Systems [0.0]
  顔認識システムにおけるブラックボックスバックドア攻撃手法を提案する。 バックドアトリガは極めて効果的であり、攻撃成功率は最大で88%である。 本研究は,既存の顔認識/検証技術のセキュリティ問題に注意を喚起する,新たな物理的バックドア攻撃を明らかにしたことを強調した。
  論文  参考訳（メタデータ） (2020-09-15T11:50:29Z)
• Defending against Backdoor Attack on Deep Neural Networks [98.45955746226106]
  トレーニングデータの一部にバックドアトリガーを注入する、いわゆるテキストバックドア攻撃について検討する。 実験の結果,本手法は攻撃成功率を効果的に低減し,クリーン画像の分類精度も高いことがわかった。
  論文  参考訳（メタデータ） (2020-02-26T02:03:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。