論文の概要: On the Effectiveness of Distillation in Mitigating Backdoors in Pre-trained Encoder

• arxiv url: http://arxiv.org/abs/2403.03846v1
• Date: Wed, 6 Mar 2024 16:42:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 14:22:44.968277
• Title: On the Effectiveness of Distillation in Mitigating Backdoors in Pre-trained Encoder
• Title（参考訳）: プレトレーニングエンコーダにおけるバックドアの消毒効果について
• Authors: Tingxu Han, Shenghan Huang, Ziqi Ding, Weisong Sun, Yebo Feng, Chunrong Fang, Jun Li, Hanwei Qian, Cong Wu, Quanjun Zhang, Yang Liu and Zhenyu Chen
• Abstract要約: 本研究は,SSLにおける有毒エンコーダに対する蒸留法(蒸留法)の防御について検討する。 4つの異なる教師ネット、3つの学生ネット、6つの蒸留損失を比較することで、微調整の教師ネット、ウォームアップベースの学生ネット、注意に基づく蒸留損失が最善であることがわかった。
• 参考スコア（独自算出の注目度）: 16.70977846184959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study a defense against poisoned encoders in SSL called distillation, which is a defense used in supervised learning originally. Distillation aims to distill knowledge from a given model (a.k.a the teacher net) and transfer it to another (a.k.a the student net). Now, we use it to distill benign knowledge from poisoned pre-trained encoders and transfer it to a new encoder, resulting in a clean pre-trained encoder. In particular, we conduct an empirical study on the effectiveness and performance of distillation against poisoned encoders. Using two state-of-the-art backdoor attacks against pre-trained image encoders and four commonly used image classification datasets, our experimental results show that distillation can reduce attack success rate from 80.87% to 27.51% while suffering a 6.35% loss in accuracy. Moreover, we investigate the impact of three core components of distillation on performance: teacher net, student net, and distillation loss. By comparing 4 different teacher nets, 3 student nets, and 6 distillation losses, we find that fine-tuned teacher nets, warm-up-training-based student nets, and attention-based distillation loss perform best, respectively.
• Abstract（参考訳）: 本稿では,sslにおける有毒エンコーダ(有毒エンコーダ)に対する蒸留(distillation)と呼ばれる防御について検討する。 蒸留は、与えられたモデル(教師網)から知識を蒸留し、別のモデル(生徒網)に移すことを目的としている。 そして今、この技術を使って、有毒な事前訓練エンコーダから良質な知識を抽出し、それを新しいエンコーダに転送し、クリーンな事前訓練エンコーダを作り出す。 特に,有毒エンコーダに対する蒸留の有効性と性能に関する実証的研究を行った。 従来の2つのバックドア攻撃と4つの画像分類データセットを用いて, 蒸留は精度6.35%の損失を被ったまま, 80.87%から27.51%に低下することを示した。 さらに, 蒸留の核となる3成分が, 教師ネット, 学生ネット, 蒸留損失に与える影響について検討した。 4つの異なる教師ネット,3つの学生ネット,6つの蒸留損失を比較することで,教師ネット,ウォームアップ学習ベースの学生ネット,注意に基づく蒸留損失がそれぞれ最高であることがわかった。

関連論文リスト

• Knowledge Distillation with Refined Logits [31.205248790623703]
  本稿では,現在のロジット蒸留法の限界に対処するため,Refined Logit Distillation (RLD)を導入する。 我々のアプローチは、高性能な教師モデルでさえ誤った予測をすることができるという観察に動機づけられている。 本手法は,教師からの誤解を招く情報を,重要なクラス相関を保ちながら効果的に排除することができる。
  論文  参考訳（メタデータ） (2024-08-14T17:59:32Z)
• How to Make Cross Encoder a Good Teacher for Efficient Image-Text Retrieval? [99.87554379608224]
  クロスエンコーダのクロスモーダル類似度スコア分布は、二重エンコーダの結果がほぼ正常である間により集中する。 強陰性間の相対的な順序だけが有効な知識を伝達する一方、容易な負性間の順序情報はほとんど意味を持たない。 本研究では, コントラスト学習を用いて, 硬質負試料間の相対的な順序を模倣することを目的とした, コントラスト部分式蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T09:10:01Z)
• Mutual Information Guided Backdoor Mitigation for Pre-trained Encoders [14.185746591318518]
  事前訓練されたエンコーダ上に構築された下流タスクは、ほぼ最先端のパフォーマンスを達成することができる。 バックドア緩和技術は 下流のタスクモデルのために設計されています MIMICは、潜在的なバックドアエンコーダを教師ネットとして扱い、知識蒸留を用いて教師ネットからクリーンな学生エンコーダを蒸留する。
  論文  参考訳（メタデータ） (2024-06-05T07:27:15Z)
• Triplet Knowledge Distillation [73.39109022280878]
  知識蒸留(Knowledge Distillation)では、教師は一般的に生徒よりもはるかに大きく、教師の解法は生徒が学ぶのが難しくなる。 模擬困難を緩和するため,TriKDという三重項知識蒸留機構を導入する。
  論文  参考訳（メタデータ） (2023-05-25T12:12:31Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• PointDistiller: Structured Knowledge Distillation Towards Efficient and Compact 3D Detection [15.79799516495951]
  本稿では,点雲を用いた3次元検出のための構造化知識蒸留フレームワークであるPointDistillerを提案する。 PointDistillerには局所蒸留が含まれており、動的グラフ畳み込みと再重み付き学習戦略によって点雲の局所的な幾何学構造を抽出し、蒸留する。 我々の4X圧縮PointPillars学生は、BEVと3Dオブジェクト検出の2.8mAPと3.4mAPの改善を達成し、それぞれ0.9mAPと1.8mAPを上回りました。
  論文  参考訳（メタデータ） (2022-05-23T07:40:07Z)
• PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in Contrastive Learning [69.70602220716718]
  コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。 特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。 我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
  論文  参考訳（メタデータ） (2022-05-13T00:15:44Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• CoDERT: Distilling Encoder Representations with Co-learning for Transducer-based Speech Recognition [14.07385381963374]
  トランスデューサのエンコーダ出力は自然に高いエントロピーを持ち、音響的に類似した単語-ピースの混同に関する豊富な情報を含んでいることを示す。 本稿では,教師のトランスデューサのエンコーダのロジットを蒸留するための補助的損失を導入し,このエンコーダ蒸留が効果的に機能するトレーニング戦略を探る。
  論文  参考訳（メタデータ） (2021-06-14T20:03:57Z)
• Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup [91.1317510066954]
  我々は, 知識蒸留効率という, ささやかだが重要な質問について研究する。 我々のゴールは、訓練中に計算コストの低い従来の知識蒸留に匹敵する性能を達成することである。 我々は,Uncertainty-aware mIXup (UNIX) がクリーンで効果的なソリューションであることを示す。
  論文  参考訳（メタデータ） (2020-12-17T06:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。