論文の概要: Demystifying Self-supervised Trojan Attacks
- arxiv url: http://arxiv.org/abs/2210.07346v1
- Date: Thu, 13 Oct 2022 20:39:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 16:08:51.706427
- Title: Demystifying Self-supervised Trojan Attacks
- Title(参考訳): 自制的なトロイの木馬攻撃
- Authors: Changjiang Li, Ren Pang, Zhaohan Xi, Tianyu Du, Shouling Ji, Yuan Yao,
Ting Wang
- Abstract要約: 自己教師付き学習(SSL)は、データラベルなしで複雑なデータの高品質な表現を学習することができる。
SSLは、トロイの木馬攻撃に対する教師あり学習として、相互に脆弱であることを示す。
- 参考スコア(独自算出の注目度): 50.039018962541455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As an emerging machine learning paradigm, self-supervised learning (SSL) is
able to learn high-quality representations for complex data without data
labels. Prior work shows that, besides obviating the reliance on labeling, SSL
also benefits adversarial robustness by making it more challenging for the
adversary to manipulate model prediction. However, whether this robustness
benefit generalizes to other types of attacks remains an open question.
We explore this question in the context of trojan attacks by showing that SSL
is comparably vulnerable as supervised learning to trojan attacks.
Specifically, we design and evaluate CTRL, an extremely simple self-supervised
trojan attack. By polluting a tiny fraction of training data (less than 1%)
with indistinguishable poisoning samples, CTRL causes any trigger-embedded
input to be misclassified to the adversary's desired class with a high
probability (over 99%) at inference. More importantly, through the lens of
CTRL, we study the mechanisms underlying self-supervised trojan attacks. With
both empirical and analytical evidence, we reveal that the representation
invariance property of SSL, which benefits adversarial robustness, may also be
the very reason making SSL highly vulnerable to trojan attacks. We further
discuss the fundamental challenges to defending against self-supervised trojan
attacks, pointing to promising directions for future research.
- Abstract(参考訳): 新たな機械学習パラダイムとして、自己教師付き学習(SSL)は、データラベルなしで複雑なデータの高品質な表現を学習することができる。
以前の研究によると、SSLはラベルの信頼性を損なうだけでなく、敵がモデル予測を操作することを難しくすることで、敵の堅牢性にも寄与している。
しかし、この堅牢性が他のタイプの攻撃に一般化するかどうかは未解決の問題である。
我々は、SSLがトロイの木馬攻撃に対する教師あり学習として相互に脆弱であることを示すことで、トロイの木馬攻撃の文脈でこの問題を探求する。
具体的には,極めて単純な自己監視トロイの木馬攻撃であるctrlを設計,評価した。
少量のトレーニングデータ(1%未満)を識別不能な毒サンプルで汚染することにより、CTRLは任意のトリガー埋め込み入力を推論時に高い確率(99%以上)で敵の望ましいクラスに誤分類する。
さらに,ctrlのレンズを通して,自己監視トロイの木馬攻撃のメカニズムについて検討した。
実証的な証拠と分析的な証拠の両方で、敵の堅牢性に利益をもたらすSSLの非分散性を表現することが、SSLをトロイの木馬攻撃に非常に脆弱にする理由であることを示している。
我々はまた、将来的な研究の方向性を示す自己監督型トロイの木馬攻撃に対する防御の基本的な課題についても論じる。
関連論文リスト
- Does Few-shot Learning Suffer from Backdoor Attacks? [63.9864247424967]
数発の学習がバックドアアタックに対して脆弱であることは明らかです。
本手法は,FSLタスクにおける攻撃成功率(ASR)を,異なる数発の学習パラダイムで示す。
この研究は、数発の学習がまだバックドア攻撃に悩まされており、そのセキュリティに注意を払う必要があることを明らかにしている。
論文 参考訳(メタデータ) (2023-12-31T06:43:36Z) - Erasing Self-Supervised Learning Backdoor by Cluster Activation Masking [69.34631376261102]
自己監視学習(SSL)は、バックドア攻撃に対して脆弱である。
本稿では,クラスタアクティベーションマスキングによるSSLバックドアの消去を提案し,新しいPoisonCAM法を提案する。
論文 参考訳(メタデータ) (2023-12-13T08:01:15Z) - Rethinking Backdoor Attacks [122.1008188058615]
バックドア攻撃では、悪意ある構築されたバックドアの例をトレーニングセットに挿入し、結果のモデルを操作に脆弱にする。
このような攻撃に対する防御は、典型的には、これらの挿入された例をトレーニングセットの外れ値として見ることと、堅牢な統計からのテクニックを使用してそれらを検出し、削除することである。
トレーニングデータ分布に関する構造情報がなければ,バックドア攻撃は自然に発生するデータの特徴と区別できないことを示す。
論文 参考訳(メタデータ) (2023-07-19T17:44:54Z) - Backdoor Attack with Sparse and Invisible Trigger [60.84183404621145]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアアタックは、訓練段階の脅威を脅かしている。
軽度で目に見えないバックドアアタック(SIBA)を提案する。
論文 参考訳(メタデータ) (2023-05-11T10:05:57Z) - Narcissus: A Practical Clean-Label Backdoor Attack with Limited
Information [22.98039177091884]
クリーンラベル」バックドア攻撃には、トレーニングセット全体の知識が必要である。
本稿では,対象クラスの代表例の知識のみに基づいて,クリーンラベルバックドア攻撃をマウントするアルゴリズムを提案する。
私たちの攻撃は、物理的な世界にトリガーが存在する場合でも、データセットやモデル間でうまく機能します。
論文 参考訳(メタデータ) (2022-04-11T16:58:04Z) - On the Effectiveness of Adversarial Training against Backdoor Attacks [111.8963365326168]
バックドアモデルは、事前に定義されたトリガーパターンが存在する場合、常にターゲットクラスを予測する。
一般的には、敵の訓練はバックドア攻撃に対する防御であると信じられている。
本稿では,様々なバックドア攻撃に対して良好な堅牢性を提供するハイブリッド戦略を提案する。
論文 参考訳(メタデータ) (2022-02-22T02:24:46Z) - Excess Capacity and Backdoor Poisoning [11.383869751239166]
バックドアデータ中毒攻撃は、攻撃者がいくつかの透かし、ラベルのついたトレーニング例をトレーニングセットに注入する敵攻撃である。
本稿では,分類問題に対するバックドアデータ中毒攻撃を議論できる形式的理論的枠組みを提案する。
論文 参考訳(メタデータ) (2021-09-02T03:04:38Z) - Targeted Forgetting and False Memory Formation in Continual Learners
through Adversarial Backdoor Attacks [2.830541450812474]
破滅的な忘れ物を避けるために,一般的な連続学習アルゴリズムであるElastic Weight Consolidation (EWC)の脆弱性について検討する。
知的敵は、EWCの防御を回避でき、訓練中に少量の誤報をモデルに導入することで、段階的かつ故意に忘れることを引き起こす。
MNISTデータセットの置換型と分割型の両方に"バックドア"攻撃サンプルを注入することで、モデルの制御を前提とする敵の能力を実証する。
論文 参考訳(メタデータ) (2020-02-17T18:13:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。