論文の概要: On the Effectiveness of Distillation in Mitigating Backdoors in
Pre-trained Encoder
- arxiv url: http://arxiv.org/abs/2403.03846v1
- Date: Wed, 6 Mar 2024 16:42:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 14:22:44.968277
- Title: On the Effectiveness of Distillation in Mitigating Backdoors in
Pre-trained Encoder
- Title(参考訳): プレトレーニングエンコーダにおけるバックドアの消毒効果について
- Authors: Tingxu Han, Shenghan Huang, Ziqi Ding, Weisong Sun, Yebo Feng,
Chunrong Fang, Jun Li, Hanwei Qian, Cong Wu, Quanjun Zhang, Yang Liu and
Zhenyu Chen
- Abstract要約: 本研究は,SSLにおける有毒エンコーダに対する蒸留法(蒸留法)の防御について検討する。
4つの異なる教師ネット、3つの学生ネット、6つの蒸留損失を比較することで、微調整の教師ネット、ウォームアップベースの学生ネット、注意に基づく蒸留損失が最善であることがわかった。
- 参考スコア(独自算出の注目度): 16.70977846184959
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study a defense against poisoned encoders in SSL called
distillation, which is a defense used in supervised learning originally.
Distillation aims to distill knowledge from a given model (a.k.a the teacher
net) and transfer it to another (a.k.a the student net). Now, we use it to
distill benign knowledge from poisoned pre-trained encoders and transfer it to
a new encoder, resulting in a clean pre-trained encoder. In particular, we
conduct an empirical study on the effectiveness and performance of distillation
against poisoned encoders. Using two state-of-the-art backdoor attacks against
pre-trained image encoders and four commonly used image classification
datasets, our experimental results show that distillation can reduce attack
success rate from 80.87% to 27.51% while suffering a 6.35% loss in accuracy.
Moreover, we investigate the impact of three core components of distillation on
performance: teacher net, student net, and distillation loss. By comparing 4
different teacher nets, 3 student nets, and 6 distillation losses, we find that
fine-tuned teacher nets, warm-up-training-based student nets, and
attention-based distillation loss perform best, respectively.
- Abstract(参考訳): 本稿では,sslにおける有毒エンコーダ(有毒エンコーダ)に対する蒸留(distillation)と呼ばれる防御について検討する。
蒸留は、与えられたモデル(教師網)から知識を蒸留し、別のモデル(生徒網)に移すことを目的としている。
そして今、この技術を使って、有毒な事前訓練エンコーダから良質な知識を抽出し、それを新しいエンコーダに転送し、クリーンな事前訓練エンコーダを作り出す。
特に,有毒エンコーダに対する蒸留の有効性と性能に関する実証的研究を行った。
従来の2つのバックドア攻撃と4つの画像分類データセットを用いて, 蒸留は精度6.35%の損失を被ったまま, 80.87%から27.51%に低下することを示した。
さらに, 蒸留の核となる3成分が, 教師ネット, 学生ネット, 蒸留損失に与える影響について検討した。
4つの異なる教師ネット,3つの学生ネット,6つの蒸留損失を比較することで,教師ネット,ウォームアップ学習ベースの学生ネット,注意に基づく蒸留損失がそれぞれ最高であることがわかった。
関連論文リスト
- Triplet Knowledge Distillation [73.39109022280878]
知識蒸留(Knowledge Distillation)では、教師は一般的に生徒よりもはるかに大きく、教師の解法は生徒が学ぶのが難しくなる。
模擬困難を緩和するため,TriKDという三重項知識蒸留機構を導入する。
論文 参考訳(メタデータ) (2023-05-25T12:12:31Z) - Learning the Wrong Lessons: Inserting Trojans During Knowledge
Distillation [68.8204255655161]
トロイの木馬の攻撃は、ディープラーニングモデルの基本的脆弱性を明らかにし、同時に顕著に有名になった。
我々は,教師に顕著な振る舞いを導入することなく,生徒モデルにトロイの木馬を埋め込むために,乱れのないデータ知識蒸留プロセスを活用することを目的とする。
我々は、生徒の精度を効果的に低減し、教師のパフォーマンスを変えず、実際に効率的に構築可能なトロイの木馬攻撃を考案した。
論文 参考訳(メタデータ) (2023-03-09T21:37:50Z) - Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。
従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。
このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
論文 参考訳(メタデータ) (2022-11-27T05:14:03Z) - PointDistiller: Structured Knowledge Distillation Towards Efficient and
Compact 3D Detection [15.79799516495951]
本稿では,点雲を用いた3次元検出のための構造化知識蒸留フレームワークであるPointDistillerを提案する。
PointDistillerには局所蒸留が含まれており、動的グラフ畳み込みと再重み付き学習戦略によって点雲の局所的な幾何学構造を抽出し、蒸留する。
我々の4X圧縮PointPillars学生は、BEVと3Dオブジェクト検出の2.8mAPと3.4mAPの改善を達成し、それぞれ0.9mAPと1.8mAPを上回りました。
論文 参考訳(メタデータ) (2022-05-23T07:40:07Z) - PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in
Contrastive Learning [69.70602220716718]
コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。
特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。
我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
論文 参考訳(メタデータ) (2022-05-13T00:15:44Z) - Spot-adaptive Knowledge Distillation [39.23627955442595]
我々はスポット適応型KD(SAKD)と呼ばれる新しい蒸留戦略を提案する。
SAKDは、全蒸留期間中のトレーニングイテレーション毎に、サンプルごとの教師ネットワーク内の蒸留スポットを適応的に決定する。
SAKDの有効性を実証するために10種類の最先端蒸留器を用いた実験を行った。
論文 参考訳(メタデータ) (2022-05-05T02:21:32Z) - On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。
本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
論文 参考訳(メタデータ) (2022-03-14T15:02:13Z) - CoDERT: Distilling Encoder Representations with Co-learning for
Transducer-based Speech Recognition [14.07385381963374]
トランスデューサのエンコーダ出力は自然に高いエントロピーを持ち、音響的に類似した単語-ピースの混同に関する豊富な情報を含んでいることを示す。
本稿では,教師のトランスデューサのエンコーダのロジットを蒸留するための補助的損失を導入し,このエンコーダ蒸留が効果的に機能するトレーニング戦略を探る。
論文 参考訳(メタデータ) (2021-06-14T20:03:57Z) - Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup [91.1317510066954]
我々は, 知識蒸留効率という, ささやかだが重要な質問について研究する。
我々のゴールは、訓練中に計算コストの低い従来の知識蒸留に匹敵する性能を達成することである。
我々は,Uncertainty-aware mIXup (UNIX) がクリーンで効果的なソリューションであることを示す。
論文 参考訳(メタデータ) (2020-12-17T06:52:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。