論文の概要: Demystifying Self-supervised Trojan Attacks

• arxiv url: http://arxiv.org/abs/2210.07346v1
• Date: Thu, 13 Oct 2022 20:39:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 16:08:51.706427
• Title: Demystifying Self-supervised Trojan Attacks
• Title（参考訳）: 自制的なトロイの木馬攻撃
• Authors: Changjiang Li, Ren Pang, Zhaohan Xi, Tianyu Du, Shouling Ji, Yuan Yao, Ting Wang
• Abstract要約: 自己教師付き学習(SSL)は、データラベルなしで複雑なデータの高品質な表現を学習することができる。 SSLは、トロイの木馬攻撃に対する教師あり学習として、相互に脆弱であることを示す。
• 参考スコア（独自算出の注目度）: 50.039018962541455
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As an emerging machine learning paradigm, self-supervised learning (SSL) is able to learn high-quality representations for complex data without data labels. Prior work shows that, besides obviating the reliance on labeling, SSL also benefits adversarial robustness by making it more challenging for the adversary to manipulate model prediction. However, whether this robustness benefit generalizes to other types of attacks remains an open question. We explore this question in the context of trojan attacks by showing that SSL is comparably vulnerable as supervised learning to trojan attacks. Specifically, we design and evaluate CTRL, an extremely simple self-supervised trojan attack. By polluting a tiny fraction of training data (less than 1%) with indistinguishable poisoning samples, CTRL causes any trigger-embedded input to be misclassified to the adversary's desired class with a high probability (over 99%) at inference. More importantly, through the lens of CTRL, we study the mechanisms underlying self-supervised trojan attacks. With both empirical and analytical evidence, we reveal that the representation invariance property of SSL, which benefits adversarial robustness, may also be the very reason making SSL highly vulnerable to trojan attacks. We further discuss the fundamental challenges to defending against self-supervised trojan attacks, pointing to promising directions for future research.
• Abstract（参考訳）: 新たな機械学習パラダイムとして、自己教師付き学習(SSL)は、データラベルなしで複雑なデータの高品質な表現を学習することができる。 以前の研究によると、SSLはラベルの信頼性を損なうだけでなく、敵がモデル予測を操作することを難しくすることで、敵の堅牢性にも寄与している。 しかし、この堅牢性が他のタイプの攻撃に一般化するかどうかは未解決の問題である。 我々は、SSLがトロイの木馬攻撃に対する教師あり学習として相互に脆弱であることを示すことで、トロイの木馬攻撃の文脈でこの問題を探求する。 具体的には,極めて単純な自己監視トロイの木馬攻撃であるctrlを設計,評価した。 少量のトレーニングデータ(1%未満)を識別不能な毒サンプルで汚染することにより、CTRLは任意のトリガー埋め込み入力を推論時に高い確率(99%以上)で敵の望ましいクラスに誤分類する。 さらに,ctrlのレンズを通して,自己監視トロイの木馬攻撃のメカニズムについて検討した。 実証的な証拠と分析的な証拠の両方で、敵の堅牢性に利益をもたらすSSLの非分散性を表現することが、SSLをトロイの木馬攻撃に非常に脆弱にする理由であることを示している。 我々はまた、将来的な研究の方向性を示す自己監督型トロイの木馬攻撃に対する防御の基本的な課題についても論じる。

関連論文リスト

• Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats [52.94388672185062]
  本稿では,機械学習という概念を用いて,バックドアの脅威に対する効果的な防御機構を提案する。 これは、モデルがバックドアの脆弱性を迅速に学習するのを助けるために、小さな毒のサンプルを戦略的に作成することを必要とする。 バックドア・アンラーニング・プロセスでは,新しいトークン・ベースの非ラーニング・トレーニング・システムを提案する。
  論文  参考訳（メタデータ） (2024-09-29T02:55:38Z)
• EmInspector: Combating Backdoor Attacks in Federated Self-Supervised Learning Through Embedding Inspection [53.25863925815954]
  フェデレートされた自己教師付き学習(FSSL)は、クライアントの膨大な量の未ラベルデータの利用を可能にする、有望なパラダイムとして登場した。 FSSLはアドバンテージを提供するが、バックドア攻撃に対する感受性は調査されていない。 ローカルモデルの埋め込み空間を検査し,悪意のあるクライアントを検知する埋め込み検査器(EmInspector)を提案する。
  論文  参考訳（メタデータ） (2024-05-21T06:14:49Z)
• Towards Adversarial Robustness And Backdoor Mitigation in SSL [0.562479170374811]
  Self-Supervised Learning (SSL)は、ラベルのないデータから表現を学習する際の大きな可能性を示している。 SSLメソッドは、最近、バックドア攻撃に対して脆弱であることが示されている。 この作業はSSLのバックドア攻撃に対する防御に対処することを目的としている。
  論文  参考訳（メタデータ） (2024-03-23T19:21:31Z)
• Does Few-shot Learning Suffer from Backdoor Attacks? [63.9864247424967]
  数発の学習がバックドアアタックに対して脆弱であることは明らかです。 本手法は,FSLタスクにおける攻撃成功率(ASR)を,異なる数発の学習パラダイムで示す。 この研究は、数発の学習がまだバックドア攻撃に悩まされており、そのセキュリティに注意を払う必要があることを明らかにしている。
  論文  参考訳（メタデータ） (2023-12-31T06:43:36Z)
• Erasing Self-Supervised Learning Backdoor by Cluster Activation Masking [65.44477004525231]
  研究者は最近、自己監視学習(SSL)がバックドア攻撃に脆弱であることを発見した。 本稿では,クラスタアクティベーションマスキングによるSSLバックドアの消去を提案し,新しいPoisonCAM法を提案する。 ImageNet-100の最先端手法の3%と比較して,バックドアトリガ検出の精度は96%であった。
  論文  参考訳（メタデータ） (2023-12-13T08:01:15Z)
• Rethinking Backdoor Attacks [122.1008188058615]
  バックドア攻撃では、悪意ある構築されたバックドアの例をトレーニングセットに挿入し、結果のモデルを操作に脆弱にする。 このような攻撃に対する防御は、典型的には、これらの挿入された例をトレーニングセットの外れ値として見ることと、堅牢な統計からのテクニックを使用してそれらを検出し、削除することである。 トレーニングデータ分布に関する構造情報がなければ,バックドア攻撃は自然に発生するデータの特徴と区別できないことを示す。
  論文  参考訳（メタデータ） (2023-07-19T17:44:54Z)
• Targeted Forgetting and False Memory Formation in Continual Learners through Adversarial Backdoor Attacks [2.830541450812474]
  破滅的な忘れ物を避けるために,一般的な連続学習アルゴリズムであるElastic Weight Consolidation (EWC)の脆弱性について検討する。 知的敵は、EWCの防御を回避でき、訓練中に少量の誤報をモデルに導入することで、段階的かつ故意に忘れることを引き起こす。 MNISTデータセットの置換型と分割型の両方に"バックドア"攻撃サンプルを注入することで、モデルの制御を前提とする敵の能力を実証する。
  論文  参考訳（メタデータ） (2020-02-17T18:13:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。