論文の概要: Backdoor Secrets Unveiled: Identifying Backdoor Data with Optimized Scaled Prediction Consistency

• arxiv url: http://arxiv.org/abs/2403.10717v1
• Date: Fri, 15 Mar 2024 22:35:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 22:14:44.676748
• Title: Backdoor Secrets Unveiled: Identifying Backdoor Data with Optimized Scaled Prediction Consistency
• Title（参考訳）: バックドアの秘密: スケールした予測一貫性を最適化したバックドアデータの識別
• Authors: Soumyadeep Pal, Yuguang Yao, Ren Wang, Bingquan Shen, Sijia Liu,
• Abstract要約: 現代の機械学習システムは、バックドア中毒の攻撃に弱い。 本稿では,有毒データセット内のバックドアデータの自動識別を提案する。 提案手法は,バックドアデータポイントの同定において,現在のベースラインの性能を上回ることが多いことを示す。
• 参考スコア（独自算出の注目度）: 15.643978173846095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern machine learning (ML) systems demand substantial training data, often resorting to external sources. Nevertheless, this practice renders them vulnerable to backdoor poisoning attacks. Prior backdoor defense strategies have primarily focused on the identification of backdoored models or poisoned data characteristics, typically operating under the assumption of access to clean data. In this work, we delve into a relatively underexplored challenge: the automatic identification of backdoor data within a poisoned dataset, all under realistic conditions, i.e., without the need for additional clean data or without manually defining a threshold for backdoor detection. We draw an inspiration from the scaled prediction consistency (SPC) technique, which exploits the prediction invariance of poisoned data to an input scaling factor. Based on this, we pose the backdoor data identification problem as a hierarchical data splitting optimization problem, leveraging a novel SPC-based loss function as the primary optimization objective. Our innovation unfolds in several key aspects. First, we revisit the vanilla SPC method, unveiling its limitations in addressing the proposed backdoor identification problem. Subsequently, we develop a bi-level optimization-based approach to precisely identify backdoor data by minimizing the advanced SPC loss. Finally, we demonstrate the efficacy of our proposal against a spectrum of backdoor attacks, encompassing basic label-corrupted attacks as well as more sophisticated clean-label attacks, evaluated across various benchmark datasets. Experiment results show that our approach often surpasses the performance of current baselines in identifying backdoor data points, resulting in about 4%-36% improvement in average AUROC. Codes are available at https://github.com/OPTML-Group/BackdoorMSPC.
• Abstract（参考訳）: 現代の機械学習(ML)システムは、しばしば外部ソースに頼って、かなりのトレーニングデータを要求する。 しかし、この慣行は、バックドア中毒の攻撃に対して脆弱である。 バックドア防衛戦略は、主にバックドアモデルや有毒データの特徴の識別に重点を置いており、典型的にはクリーンデータへのアクセスを前提として運用されている。 この研究では、毒性データセット内のバックドアデータの自動識別、すなわち、追加のクリーンデータや手動でバックドア検出のしきい値を定義することなく、現実的な条件下で、比較的過小評価された課題を掘り下げる。 我々は,有毒データの入力スケーリング係数に対する予測不変性を利用したスケールド予測整合性(SPC)技術から着想を得た。 これに基づいて、バックドアデータ識別問題を階層的なデータ分割最適化問題として、新しいSPCベースの損失関数を主最適化目的として活用する。 私たちのイノベーションは、いくつかの重要な側面に広がっています。 まず,バニラSPC法を再検討し,提案したバックドア識別問題に対処する際の限界を明らかにする。 その後,先進的なSPC損失を最小限に抑えて,バックドアデータを正確に識別する二段階最適化手法を開発した。 最後に, バックドア攻撃に対する提案の有効性を実証し, 各種ベンチマークデータセットで評価した, 基本的なラベル破損攻撃だけでなく, より洗練されたクリーンラベル攻撃も実施した。 実験結果から, バックドアデータポイントの同定において, 提案手法は現在のベースラインを上回り, 平均AUROCの約4%～36%の改善が得られた。 コードはhttps://github.com/OPTML-Group/BackdoorMSPCで入手できる。

関連論文リスト

• Long-Tailed Backdoor Attack Using Dynamic Data Augmentation Operations [50.1394620328318]
  既存のバックドア攻撃は主にバランスの取れたデータセットに焦点を当てている。 動的データ拡張操作(D$2$AO)という効果的なバックドア攻撃を提案する。 本手法は,クリーンな精度を維持しつつ,最先端の攻撃性能を実現することができる。
  論文  参考訳（メタデータ） (2024-10-16T18:44:22Z)
• DeCE: Deceptive Cross-Entropy Loss Designed for Defending Backdoor Attacks [26.24490960002264]
  本稿では,コード言語モデルのセキュリティを高めるために,汎用的で効果的な損失関数DeCE(Deceptive Cross-Entropy)を提案する。 さまざまなコード合成データセット,モデル,有毒比による実験は,DeCEの適用性と有効性を示している。
  論文  参考訳（メタデータ） (2024-07-12T03:18:38Z)
• Revisiting Backdoor Attacks against Large Vision-Language Models [76.42014292255944]
  本稿では,LVLMの命令チューニングにおけるバックドア攻撃の一般化可能性について実験的に検討する。 以上に基づいて,既存のバックドア攻撃を修正した。 本稿では,従来のシンプルなバックドア戦略でさえ,LVLMに深刻な脅威をもたらすことを指摘する。
  論文  参考訳（メタデータ） (2024-06-27T02:31:03Z)
• Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots [68.84056762301329]
  近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。 バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。 我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
  論文  参考訳（メタデータ） (2023-10-28T08:21:16Z)
• An anomaly detection approach for backdoored neural networks: face recognition as a case study [77.92020418343022]
  本稿では,異常検出の原理に基づく新しいバックドアネットワーク検出手法を提案する。 バックドアネットワークの新たなデータセット上で本手法を検証し,完全スコアで検出可能性について報告する。
  論文  参考訳（メタデータ） (2022-08-22T12:14:13Z)
• Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
  モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。 バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:40Z)
• DeepSweep: An Evaluation Framework for Mitigating DNN Backdoor Attacks using Data Augmentation [16.455154794893055]
  サードパーティプロバイダは、有毒なサンプルをデータセットに注入したり、Deep Learningモデルにバックドアを埋め込むことができる。 異なるバックドア攻撃に対する防御の最適方針を見いだすための体系的アプローチを提案する。 特定政策は,8種類のバックドア攻撃を効果的に軽減し,既存の5つの防御方法より優れる。
  論文  参考訳（メタデータ） (2020-12-13T08:51:37Z)
• Backdoor Learning: A Survey [75.59571756777342]
  バックドア攻撃はディープニューラルネットワーク(DNN)に隠れたバックドアを埋め込む バックドア学習は、急速に成長する研究分野である。 本稿では,この領域を包括的に調査する。
  論文  参考訳（メタデータ） (2020-07-17T04:09:20Z)
• Mitigating backdoor attacks in LSTM-based Text Classification Systems by Backdoor Keyword Identification [0.0]
  テキスト分類システムでは、モデルに挿入されたバックドアがスパムや悪意のある音声を検知から逃れる可能性がある。 本稿では,内LSTMニューロンの変化を分析することによって,バックドア攻撃を緩和するためのバックドアキーワード識別(BKI)と呼ばれる防御手法を提案する。 本手法は,IMDB,DBpedia,20のニュースグループ,Reuters-21578データセットの4つの異なるテキスト分類ダットセットで評価する。
  論文  参考訳（メタデータ） (2020-07-11T09:05:16Z)
• Systematic Evaluation of Backdoor Data Poisoning Attacks on Image Classifiers [6.352532169433872]
  コンピュータビジョン研究において、機械学習(ML)システムの潜在的な安全性リスクとして、バックドアデータ中毒攻撃が実証されている。 我々の研究は、ML画像分類器のための事前のバックドアデータポゾン研究に基づいている。 有毒なモデルでは、パフォーマンス検査だけでは検出が難しいことが分かりました。
  論文  参考訳（メタデータ） (2020-04-24T02:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。