論文の概要: When Data-Free Knowledge Distillation Meets Non-Transferable Teacher: Escaping Out-of-Distribution Trap is All You Need

• arxiv url: http://arxiv.org/abs/2507.04119v1
• Date: Sat, 05 Jul 2025 18:03:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.024825
• Title: When Data-Free Knowledge Distillation Meets Non-Transferable Teacher: Escaping Out-of-Distribution Trap is All You Need
• Title（参考訳）: データフリーの知識蒸留で教師が通訳不能になる:アウト・オブ・ディストリビューション・トラップから逃れる
• Authors: Ziming Hong, Runnan Chen, Zengmao Wang, Bo Han, Bo Du, Tongliang Liu,
• Abstract要約: データフリーな知識蒸留(DFKD)は、実際のIDデータにアクセスせずに教師から生徒に知識を伝達する。 既存の研究は、教師が信頼に値すると仮定しており、DFKDの堅牢性とセキュリティは、ほとんど調査されていない教師に委ねられている。 DFKDを用いた非伝達学習(NTL)教師の蒸留に関する最初の調査を行った。 我々は,NTLの教師が,ジェネレータの注意を有用なID知識から誤解を招くOOD知識に分散させることで,DFKDを騙すことを発見した。
• 参考スコア（独自算出の注目度）: 78.71039931096959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-free knowledge distillation (DFKD) transfers knowledge from a teacher to a student without access the real in-distribution (ID) data. Its common solution is to use a generator to synthesize fake data and use them as a substitute for real ID data. However, existing works typically assume teachers are trustworthy, leaving the robustness and security of DFKD from untrusted teachers largely unexplored. In this work, we conduct the first investigation into distilling non-transferable learning (NTL) teachers using DFKD, where the transferability from an ID domain to an out-of-distribution (OOD) domain is prohibited. We find that NTL teachers fool DFKD through divert the generator's attention from the useful ID knowledge to the misleading OOD knowledge. This hinders ID knowledge transfer but prioritizes OOD knowledge transfer. To mitigate this issue, we propose Adversarial Trap Escaping (ATEsc) to benefit DFKD by identifying and filtering out OOD-like synthetic samples. Specifically, inspired by the evidence that NTL teachers show stronger adversarial robustness on OOD samples than ID samples, we split synthetic samples into two groups according to their robustness. The fragile group is treated as ID-like data and used for normal knowledge distillation, while the robust group is seen as OOD-like data and utilized for forgetting OOD knowledge. Extensive experiments demonstrate the effectiveness of ATEsc for improving DFKD against NTL teachers. Code is released at https://github.com/tmllab/2025_ICML_ATEsc.
• Abstract（参考訳）: データフリー知識蒸留(DFKD)は、実際のIDデータにアクセスせずに、教師から生徒に知識を伝達する。 一般的な解決策は、ジェネレータを使用して偽データを合成し、実際のIDデータの代用として使用することである。 しかし、既存の研究は教師が信頼に値すると仮定しており、DFKDの堅牢さと安全性は、ほとんど調査されていない教師に委ねられている。 本研究では,DFKDを用いた非伝達学習(NTL)教師の蒸留に関する最初の調査を行い,IDドメインからアウト・オブ・ディストリビューション(OOD)ドメインへの変換性を禁止した。 我々は,NTLの教師が,ジェネレータの注意を有用なID知識から誤解を招くOOD知識に分散させることで,DFKDを騙すことを発見した。 これはIDの知識伝達を妨げるが、OODの知識伝達を優先する。 この問題を軽減するため, DFKD に OOD 類似の合成サンプルを同定, フィルタリングすることにより, DFKD を有効活用する Adversarial Trap Escaping (ATEsc) を提案する。 具体的には,NTL 教師が ID サンプルよりも OOD サンプルに対して強い敵対的堅牢性を示すという証拠に触発され,その堅牢性に応じて合成サンプルを2つのグループに分けた。 脆弱群はIDライクなデータとして扱われ, 通常の知識蒸留に使用されるが, 頑健群はOODライクなデータと見なされ, OODナレッジを忘れるために利用される。 NTL 教師に対する DFKD の改善に ATEsc が有効であることを示す。 コードはhttps://github.com/tmllab/2025_ICML_ATEsc.comで公開されている。

関連論文リスト

• AuG-KD: Anchor-Based Mixup Generation for Out-of-Domain Knowledge Distillation [33.208860361882095]
  データフリー知識蒸留法(DFKD)が直接解法として登場した。 しかし、DFKDから派生したモデルを現実のアプリケーションに適用するだけで、性能が著しく低下する。 本研究では,教師の適切な知識を選択的に伝達する簡易かつ効果的なAuG-KDを提案する。
  論文  参考訳（メタデータ） (2024-03-11T03:34:14Z)
• Out-of-distribution Detection Learning with Unreliable Out-of-distribution Sources [73.28967478098107]
  アウト・オブ・ディストリビューション(OOD)検出は、予測者が有効な予測を行うことができないOODデータをイン・ディストリビューション(ID)データとして識別する。 通常、OODパターンを識別できる予測器をトレーニングするために、実際のアウト・オブ・ディストリビューション(OOD)データを収集するのは困難である。 本稿では,Auxiliary Task-based OOD Learning (ATOL) というデータ生成に基づく学習手法を提案する。
  論文  参考訳（メタデータ） (2023-11-06T16:26:52Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• They are Not Completely Useless: Towards Recycling Transferable Unlabeled Data for Class-Mismatched Semi-Supervised Learning [61.46572463531167]
  SSL(Semi-Supervised Learning)とミスマッチしたクラスは、制限されたラベル付きデータにおける関心のクラスが、巨大なラベル付きデータに含まれるクラスのサブセットである、という問題に対処する。 本稿では,クラスミスマッチ型SSLを実現するために,TOOR(Transferable OOD data recycling)手法を提案する。
  論文  参考訳（メタデータ） (2020-11-27T02:29:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。