論文の概要: Selective Amnesia: On Efficient, High-Fidelity and Blind Suppression of Backdoor Effects in Trojaned Machine Learning Models
- arxiv url: http://arxiv.org/abs/2212.04687v2
- Date: Sun, 21 Jul 2024 04:38:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 06:15:59.698436
- Title: Selective Amnesia: On Efficient, High-Fidelity and Blind Suppression of Backdoor Effects in Trojaned Machine Learning Models
- Title（参考訳）: 選択的アムネシア:トロイの木馬機械学習モデルにおけるバックドア効果の効率的・高忠実・ブラインド抑制について
- Authors: Rui Zhu, Di Tang, Siyuan Tang, XiaoFeng Wang, Haixu Tang,
- Abstract要約: バックドアモデル上で「選択的アムネシア」を誘発する手法を提案する。
SEAMと呼ばれる我々のアプローチは、破滅的忘れ(CF)の問題にインスパイアされている。
実験の結果,SEAMは最先端の未学習技術よりも優れていた。
- 参考スコア（独自算出の注目度）: 13.141677236294052
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present a simple yet surprisingly effective technique to induce "selective amnesia" on a backdoored model. Our approach, called SEAM, has been inspired by the problem of catastrophic forgetting (CF), a long standing issue in continual learning. Our idea is to retrain a given DNN model on randomly labeled clean data, to induce a CF on the model, leading to a sudden forget on both primary and backdoor tasks; then we recover the primary task by retraining the randomized model on correctly labeled clean data. We analyzed SEAM by modeling the unlearning process as continual learning and further approximating a DNN using Neural Tangent Kernel for measuring CF. Our analysis shows that our random-labeling approach actually maximizes the CF on an unknown backdoor in the absence of triggered inputs, and also preserves some feature extraction in the network to enable a fast revival of the primary task. We further evaluated SEAM on both image processing and Natural Language Processing tasks, under both data contamination and training manipulation attacks, over thousands of models either trained on popular image datasets or provided by the TrojAI competition. Our experiments show that SEAM vastly outperforms the state-of-the-art unlearning techniques, achieving a high Fidelity (measuring the gap between the accuracy of the primary task and that of the backdoor) within a few minutes (about 30 times faster than training a model from scratch using the MNIST dataset), with only a small amount of clean data (0.1% of training data for TrojAI models).
- Abstract（参考訳）: 本稿では,バックドアモデル上で「選択的アムネシア」を誘導する,単純かつ驚くほど効果的な手法を提案する。
SEAMと呼ばれる我々のアプローチは、連続学習における長年の課題である破滅的忘れ(CF)の問題にインスパイアされている。
我々の考えは、ランダムにラベル付けされたクリーンデータ上で与えられたDNNモデルをトレーニングし、モデル上でCFを誘導し、プライマリタスクとバックドアタスクの両方を突然忘れ、ランダム化されたモデルを正しくラベル付けされたクリーンデータ上で再トレーニングすることで、プライマリタスクを回復することである。
本研究では,非学習過程を連続学習としてモデル化してSEAMを解析し,さらにCFの測定にNeural Tangent Kernelを用いてDNNを近似した。
提案手法は, 入出力がない場合, 未知のバックドア上のCFを最大化し, ネットワーク内の特徴抽出を有効にすることで, 初期タスクの迅速な復元を可能にする。
さらに,SEAMを画像処理と自然言語処理の両方のタスクで評価し,データ汚染とトレーニング操作攻撃の両面で,一般的な画像データセットでトレーニングされた何千ものモデル,あるいはTrojAIコンペティションによって提供された何千ものモデルについて検討した。
実験の結果、SEAMは最先端の未学習技術よりも優れており、数分間(MNISTデータセットを用いてスクラッチからモデルをトレーニングするより約30倍速い)で高い忠実性(プライマリタスクの精度とバックドアの精度のギャップを計測する)を達成でき、少量のクリーンデータ(TrojAIモデルのトレーニングデータの0.1%)しかありません。
関連論文リスト
- Identify Backdoored Model in Federated Learning via Individual Unlearning [7.200910949076064]
裏口攻撃は、フェデレートラーニング(FL)の堅牢性に重大な脅威をもたらす
FLにおける悪意のあるモデルを特定するために,ローカルモデル上で個別の未学習を利用する手法であるMASAを提案する。
私たちの知る限りでは、FLの悪意あるモデルを特定するために機械学習を活用するのはこれが初めてです。
論文 参考訳（メタデータ） (2024-11-01T21:19:47Z) - Accurate Forgetting for All-in-One Image Restoration Model [3.367455972998532]
現在、Machine Unlearningと呼ばれる低価格のスキームは、モデルに記憶されているプライベートデータを忘れている。
このことから,画像復元とセキュリティのギャップを埋めるために,この概念を応用しようと試みている。
論文 参考訳（メタデータ） (2024-09-01T10:14:16Z) - Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。
再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。
MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
論文 参考訳（メタデータ） (2024-04-23T16:01:33Z) - MENTOR: Human Perception-Guided Pretraining for Increased Generalization [5.596752018167751]
MENTOR (huMan pErceptioN-guided preTraining fOr increased geneRalization) を紹介する。
我々は、クラスラベルを使わずに、入力された画像からヒトの唾液マップを学習するためにオートエンコーダを訓練する。
我々は、デコーダ部分を取り除き、エンコーダの上に分類層を追加し、従来の新しいモデルを微調整する。
論文 参考訳（メタデータ） (2023-10-30T13:50:44Z) - Learning from History: Task-agnostic Model Contrastive Learning for
Image Restoration [79.04007257606862]
本稿では,対象モデル自体から負のサンプルを動的に生成する「歴史からの学習」という革新的な手法を提案する。
我々のアプローチはMCLIR(Model Contrastive Learning for Image Restoration)と呼ばれ、遅延モデルを負のモデルとして再定義し、多様な画像復元タスクと互換性を持たせる。
論文 参考訳（メタデータ） (2023-09-12T07:50:54Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-08T20:30:55Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - An Adversarial Active Sampling-based Data Augmentation Framework for
Manufacturable Chip Design [55.62660894625669]
リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。
機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。
本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-27T20:53:39Z) - One-shot Neural Backdoor Erasing via Adversarial Weight Masking [8.345632941376673]
Adversarial Weight Masking (AWM)は、ワンショット設定でも神経バックドアを消去できる新しい方法である。
AWMは、さまざまな利用可能なトレーニングデータセットサイズに対する他の最先端メソッドに対する浄化効果を大幅に改善することができる。
論文 参考訳（メタデータ） (2022-07-10T16:18:39Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z) - An Efficient Method of Training Small Models for Regression Problems
with Knowledge Distillation [1.433758865948252]
回帰問題に対する知識蒸留の新しい定式化を提案する。
まず,教師モデル予測を用いて,教師モデルを用いた学習サンプルの退学率を下げる新たな損失関数,教師の退学率の減少を提案する。
マルチタスクネットワークを考えることで、学生モデルの特徴抽出の訓練がより効果的になる。
論文 参考訳（メタデータ） (2020-02-28T08:46:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。