論文の概要: Revisiting Data-Free Knowledge Distillation with Poisoned Teachers
- arxiv url: http://arxiv.org/abs/2306.02368v1
- Date: Sun, 4 Jun 2023 14:27:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 18:15:47.143482
- Title: Revisiting Data-Free Knowledge Distillation with Poisoned Teachers
- Title（参考訳）: 有毒教師による無用知識蒸留の再検討
- Authors: Junyuan Hong, Yi Zeng, Shuyang Yu, Lingjuan Lyu, Ruoxi Jia, Jiayu Zhou
- Abstract要約: データフリーな知識蒸留(英語: Data-free knowledge distillation、KD)は、教師モデルのトレーニングに使用される元のトレーニングデータにアクセスすることなく、事前訓練されたモデルからより小さなモデル(学生モデルとして知られる)に知識を伝達するのに役立つ。
しかし、データフリーなKDで必要とされるOOD(synthetic or Out-of-distriion)データのセキュリティはほとんど不明であり、未調査である。
我々は,データフリーなKD手法のための最初のプラグイン防御手法であるアンチバックドア・データフリーKDを提案し,バックドアが転送される可能性を軽減した。
- 参考スコア（独自算出の注目度）: 47.513721590643435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data-free knowledge distillation (KD) helps transfer knowledge from a
pre-trained model (known as the teacher model) to a smaller model (known as the
student model) without access to the original training data used for training
the teacher model. However, the security of the synthetic or
out-of-distribution (OOD) data required in data-free KD is largely unknown and
under-explored. In this work, we make the first effort to uncover the security
risk of data-free KD w.r.t. untrusted pre-trained models. We then propose
Anti-Backdoor Data-Free KD (ABD), the first plug-in defensive method for
data-free KD methods to mitigate the chance of potential backdoors being
transferred. We empirically evaluate the effectiveness of our proposed ABD in
diminishing transferred backdoor knowledge while maintaining compatible
downstream performances as the vanilla KD. We envision this work as a milestone
for alarming and mitigating the potential backdoors in data-free KD. Codes are
released at https://github.com/illidanlab/ABD.
- Abstract（参考訳）: data-free knowledge distillation(kd)は、教師モデルのトレーニングに使用する元のトレーニングデータにアクセスせずに、事前訓練されたモデル(教師モデルとして知られる)からより小さなモデル(生徒モデルとして知られる)への知識の転送を支援する。
しかし、データフリーなKDで必要とされるOOD(synthetic or Out-of-distriion)データのセキュリティはほとんど不明であり、未調査である。
本研究では,データフリーkd w.r.t.非信頼事前学習モデルのセキュリティリスクを明らかにするために,最初の取り組みを行う。
次に,データフリーなKD手法のための最初のプラグイン防御手法であるアンチバックドア・データフリーKD(ABD)を提案する。
提案するABDの有効性を実証的に評価し,バニラKDとしての下流性能を維持しつつ,トランスファーバックドア知識の低下を図った。
データフリーKDのバックドアを警告し緩和するためのマイルストーンとして、この作業が期待されます。
コードはhttps://github.com/illidanlab/abdでリリースされる。
関連論文リスト
- Condensed Sample-Guided Model Inversion for Knowledge Distillation [42.91823325342862]
知識蒸留(KD)は、訓練済みの教師モデルからよりコンパクトな学生モデルへの知識伝達を可能にするニューラルネットワーク圧縮の重要な要素である。
KDはトレーニングデータセットへのアクセスに依存しているため、プライバシの懸念や、データのサイズに関する論理的な問題のために、必ずしも完全に利用できるとは限らない。
本稿では, 縮合したサンプルを補足情報の一形態とみなし, 対象データ分布をよりよく近似する手法を提案する。
論文 参考訳（メタデータ） (2024-08-25T14:43:27Z) - Data-Free Knowledge Distillation Using Adversarially Perturbed OpenGL
Shader Images [5.439020425819001]
知識蒸留(KD)は、モデル圧縮の一般的かつ効果的な方法である。
データフリー」なKDは、データが提供されていない場合のKDの実行シナリオに焦点を当てた、研究トピックとして発展しつつある。
非自然な画像と大量のデータ拡張と敵攻撃を組み合わせた、データフリーなKDに対する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-10-20T19:28:50Z) - Swing Distillation: A Privacy-Preserving Knowledge Distillation
Framework [38.68736962054861]
本研究では,教師モデルの個人情報が学生モデルに流れるのを効果的に保護できる新しい知識蒸留法を提案する。
複数のデータセットとタスクの実験により、提案されたスイング蒸留は、プライバシー漏洩のリスクを著しく低減できる(カナリア曝露の80%以上)ことが示された。
論文 参考訳（メタデータ） (2022-12-16T08:57:18Z) - Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。
従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。
このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
論文 参考訳（メタデータ） (2022-11-27T05:14:03Z) - Exploring Inconsistent Knowledge Distillation for Object Detection with
Data Augmentation [66.25738680429463]
物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。
教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。
本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
論文 参考訳（メタデータ） (2022-09-20T16:36:28Z) - Safe Distillation Box [62.32105311993915]
我々は,知的財産保護のための仮想ボックスに事前学習したモデルをラップできる,セーフ蒸留ボックス(Safe Distillation Box, SDB)と呼ばれる新しいフレームワークを提案する。
SDBはラップされたモデルの推論能力をすべてのユーザに保持するが、KDを許可されていないユーザから排除する。
一方、認証ユーザーに対しては、SDBは、KDパフォーマンスと学生モデルの結果を強化するための知識増強スキームを実行する。
論文 参考訳（メタデータ） (2021-12-05T05:01:55Z) - Undistillable: Making A Nasty Teacher That CANNOT teach students [84.6111281091602]
本論文では,ナスティ・ティーチング(Nasty Teacher)という,通常の教師とほぼ同じパフォーマンスを得られる特別に訓練されたティーチング・ネットワークについて紹介し,研究する。
本稿では, 自負知識蒸留法という, シンプルで効果的な教師構築アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-16T08:41:30Z) - Knowledge Distillation Thrives on Data Augmentation [65.58705111863814]
知識蒸留(KD)は、教師モデルを用いて学生モデルをガイドする一般的なディープニューラルネットワークトレーニングフレームワークである。
多くの研究がその成功の根拠を探っているが、データ強化(DA)との相互作用は未だよく認識されていない。
本稿では,KD損失は,クロスエントロピー損失を伴わないが,拡張トレーニングイテレーションの恩恵を受けることができることを示す。
KD損失は、DAがもたらす異なる入力ビューから余分な情報をタップすることができる。
論文 参考訳（メタデータ） (2020-12-05T00:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。