論文の概要: IDeaL: Data-Free Multi-Teacher Distillation via Improved Dead Leaves

• arxiv url: http://arxiv.org/abs/2608.24759v1
• Date: Tue, 25 Aug 2026 15:57:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:35.089522
• Title: IDeaL: Data-Free Multi-Teacher Distillation via Improved Dead Leaves
• Title（参考訳）: IDeaL: 枯葉の改善によるデータフリーマルチテラー蒸留
• Abstract要約: 我々は,教師が持つ情報を利用して,マルチティーチンガー蒸留の騒音を調整できることを実証した。 本研究では, パッチと画像レベルでのデコレーション損失により, データフリー蒸留に最適化された教師固有の改良サンプルを生成する手法を提案する。
• 参考スコア（独自算出の注目度）: 11.54107612856631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-teacher distillation has emerged as a way to combine complementary teacher models into a single student model that exhibits the strengths of all its teachers. The student is trained to mimic the output of the teachers on a set of images, typically the union of the individual teacher's training sets, assuming this data is available. In this paper, we question that assumption and explore alternative options. We first study how far one can go when distilling from teachers fed with different types of noise. Then, we show that information contained in the teachers can be leveraged to tailor the noise for multi-teacher distillation: we propose a method that, thanks to decorrelation losses at both patch and image levels, generates teacher-specific, improved samples optimized for data-free distillation. Experiments show that our most effective samples, IDeaL, lead to strong students that successfully capture complementary information from the teachers, yielding surprisingly competitive results that substantially narrow the gap with students distilled from real images. Moreover, given a limited budget of 1K images for distillation, students distilled using our IDeaL samples match or surpass the performance of those distilled using a 1K-image subset of ImageNet.
• Abstract（参考訳）: 多教師蒸留は、補完的な教師モデルを1人の学生モデルに組み合わせ、教師の強みを示す方法として登場した。 学生は、このデータが利用可能であると仮定して、教師の訓練セットの集合(典型的には個々の教師の訓練セットの結合)で教師の出力を模倣するように訓練される。 本稿では,その仮定に疑問を呈し,選択肢を探る。 まず、教師が様々な種類の騒音を味わうと、どれだけ遠くまで行けるかを調査する。 そして,教師に含まれる情報を利用してマルチティーチンガー蒸留の騒音を調整できることを示し,パッチと画像レベルでのデコレーション損失により,データフリー蒸留に最適化された教師固有の改良されたサンプルを生成する手法を提案する。 実験の結果、最も効果的なサンプルであるIDeaLは、教師の補完的な情報を捉えた強力な学生に繋がることがわかった。 さらに, 蒸留用1K画像の予算が限られているため, IDeaLサンプルを用いて蒸留した学生は, ImageNetの1K画像サブセットを用いて蒸留した学生と一致したか, あるいは上回った。

関連論文リスト

• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• Your Student is Better Than Expected: Adaptive Teacher-Student Collaboration for Text-Conditional Diffusion Models [24.372192691537897]
  教師のテキスト・画像拡散モデルによるサンプルの相対的品質とその蒸留された学生版について検討する。 学生と教師の拡散モデルによる効果的なテキスト・画像合成のための適応的協調手法を提案する。
  論文  参考訳（メタデータ） (2023-12-17T22:40:38Z)
• Unified and Effective Ensemble Knowledge Distillation [92.67156911466397]
  知識蒸留は、複数の教師モデルから知識を抽出し、それを1人の学生モデルにエンコードする。 既存の多くの手法は、ラベル付きデータのみに基づいて学生モデルを学習し、蒸留する。 本研究では,教師モデルのアンサンブルから,ラベル付きデータとラベルなしデータの両方から単一学生モデルを蒸留する,統一的で効果的なアンサンブル知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T16:15:39Z)
• Representation Consolidation for Training Expert Students [54.90754502493968]
  マルチヘッド多タスク蒸留法は,タスク固有の教師の表現を集約し,下流のパフォーマンスを向上させるのに十分であることを示す。 また,本手法では,複数のドメインで訓練された複数の教師の表現的知識を1つのモデルに組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-16T17:58:18Z)
• Teacher's pet: understanding and mitigating biases in distillation [61.44867470297283]
  いくつかの研究により、蒸留によって学生の全体的なパフォーマンスが著しく向上することが示されている。 しかし、これらのゲインはすべてのデータサブグループに均一なのでしょうか? 蒸留が特定の部分群の性能に悪影響を及ぼすことを示す。 信頼性の低いサブグループに対して,教師の影響を和らげる手法を提案する。
  論文  参考訳（メタデータ） (2021-06-19T13:06:25Z)
• Fixing the Teacher-Student Knowledge Discrepancy in Distillation [72.4354883997316]
  本稿では,教師の知識を学生とより整合させる,新たな学生依存型蒸留法である知識一貫型蒸留を提案する。 この手法は非常に柔軟で,他の最先端手法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-03-31T06:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。