論文の概要: Can We Trust the Unlabeled Target Data? Towards Backdoor Attack and Defense on Model Adaptation

• arxiv url: http://arxiv.org/abs/2401.06030v1
• Date: Thu, 11 Jan 2024 16:42:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 12:47:21.939076
• Title: Can We Trust the Unlabeled Target Data? Towards Backdoor Attack and Defense on Model Adaptation
• Title（参考訳）: ラベルのないターゲットデータを信頼できるか? -バックドアアタックとモデル適応の防御に向けて-
• Authors: Lijun Sheng, Jian Liang, Ran He, Zilei Wang, Tieniu Tan,
• Abstract要約: 本研究は, よく設計された毒物標的データによるモデル適応に対するバックドア攻撃の可能性を探る。 既存の適応アルゴリズムと組み合わせたMixAdaptというプラグイン・アンド・プレイ方式を提案する。
• 参考スコア（独自算出の注目度）: 120.42853706967188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model adaptation tackles the distribution shift problem with a pre-trained model instead of raw data, becoming a popular paradigm due to its great privacy protection. Existing methods always assume adapting to a clean target domain, overlooking the security risks of unlabeled samples. In this paper, we explore the potential backdoor attacks on model adaptation launched by well-designed poisoning target data. Concretely, we provide two backdoor triggers with two poisoning strategies for different prior knowledge owned by attackers. These attacks achieve a high success rate and keep the normal performance on clean samples in the test stage. To defend against backdoor embedding, we propose a plug-and-play method named MixAdapt, combining it with existing adaptation algorithms. Experiments across commonly used benchmarks and adaptation methods demonstrate the effectiveness of MixAdapt. We hope this work will shed light on the safety of learning with unlabeled data.
• Abstract（参考訳）: モデル適応は、生データの代わりに事前訓練されたモデルによる分散シフト問題に取り組み、その優れたプライバシー保護のために一般的なパラダイムとなっている。 既存の方法は、常にクリーンなターゲットドメインへの適応を前提としており、ラベルのないサンプルのセキュリティリスクを見落としている。 本稿では, よく設計された毒物標的データによるモデル適応に対するバックドア攻撃の可能性について検討する。 具体的には、2つのバックドアトリガーと、攻撃者が所有する異なる事前知識に対する2つの毒殺戦略を提供する。 これらの攻撃は高い成功率を達成し、テストステージにおけるクリーンなサンプルの正常なパフォーマンスを維持する。 バックドアの埋め込みを防止するため,MixAdaptというプラグイン・アンド・プレイ方式を提案し,既存の適応アルゴリズムと組み合わせた。 一般的なベンチマークと適応手法による実験は、MixAdaptの有効性を示している。 この成果が、ラベルのないデータによる学習の安全性を損なうことを願っている。

関連論文リスト

• Backdoor Defense through Self-Supervised and Generative Learning [0.0]
  このようなデータのトレーニングは、選択されたテストサンプルに悪意のある推論を引き起こすバックドアを注入する。 本稿では,自己教師付き表現空間におけるクラスごとの分布生成モデルに基づくアプローチを提案する。 どちらの場合も、クラスごとの生成モデルにより、有毒なデータを検出し、データセットをクリーン化することができます。
  論文  参考訳（メタデータ） (2024-09-02T11:40:01Z)
• Wicked Oddities: Selectively Poisoning for Effective Clean-Label Backdoor Attacks [11.390175856652856]
  クリーンラベル攻撃は、毒性のあるデータのラベルを変更することなく攻撃を行うことができる、よりステルスなバックドア攻撃である。 本研究は,攻撃成功率を高めるために,標的クラス内の少数の訓練サンプルを選択的に毒殺する方法について検討した。 私たちの脅威モデルは、サードパーティのデータセットで機械学習モデルをトレーニングする上で深刻な脅威となる。
  論文  参考訳（メタデータ） (2024-07-15T15:38:21Z)
• SEEP: Training Dynamics Grounds Latent Representation Search for Mitigating Backdoor Poisoning Attacks [53.28390057407576]
  現代のNLPモデルは、様々なソースから引き出された公開データセットでしばしば訓練される。 データ中毒攻撃は、攻撃者が設計した方法でモデルの振る舞いを操作できる。 バックドア攻撃に伴うリスクを軽減するために、いくつかの戦略が提案されている。
  論文  参考訳（メタデータ） (2024-05-19T14:50:09Z)
• Avoid Adversarial Adaption in Federated Learning by Multi-Metric Investigations [55.2480439325792]
  Federated Learning(FL)は、分散機械学習モデルのトレーニング、データのプライバシの保護、通信コストの低減、多様化したデータソースによるモデルパフォーマンスの向上を支援する。 FLは、中毒攻撃、標的外のパフォーマンス劣化とターゲットのバックドア攻撃の両方でモデルの整合性を損なうような脆弱性に直面している。 我々は、複数の目的に同時に適応できる、強い適応的敵の概念を新たに定義する。 MESASは、実際のデータシナリオで有効であり、平均オーバーヘッドは24.37秒である。
  論文  参考訳（メタデータ） (2023-06-06T11:44:42Z)
• IMBERT: Making BERT Immune to Insertion-based Backdoor Attacks [45.81957796169348]
  バックドア攻撃は、機械学習モデルに対する汚いセキュリティ脅威だ。 IMBERTは、被害者モデルから得られた勾配または自己注意スコアを用いて、バックドア攻撃に対する自己防衛を行う。 我々の実証研究は、IMBERTが挿入されたトリガーの98.5%を効果的に識別できることを示した。
  論文  参考訳（メタデータ） (2023-05-25T22:08:57Z)
• AdaptGuard: Defending Against Universal Attacks for Model Adaptation [129.2012687550069]
  モデル適応アルゴリズムにおいて、ソースドメインから転送されるユニバーサルアタックに対する脆弱性について検討する。 本稿では,モデル適応アルゴリズムの安全性を向上させるために,AdaptGuardというモデル前処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-19T07:53:31Z)
• Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
  Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。 我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。 実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
  論文  参考訳（メタデータ） (2021-03-06T05:50:29Z)
• Just How Toxic is Data Poisoning? A Unified Benchmark for Backdoor and Data Poisoning Attacks [74.88735178536159]
  データ中毒は、モデル盗難から敵の攻撃まで、脅威の中で一番の懸念事項だ。 データ中毒やバックドア攻撃は、テスト設定のバリエーションに非常に敏感である。 厳格なテストを適用して、それらを恐れるべき程度を判断します。
  論文  参考訳（メタデータ） (2020-06-22T18:34:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。