論文の概要: A Controlled Study of Feature-Based Knowledge Distillation Across Student Designs

• arxiv url: http://arxiv.org/abs/2608.08294v1
• Date: Sat, 08 Aug 2026 19:10:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.762367
• Title: A Controlled Study of Feature-Based Knowledge Distillation Across Student Designs
• Title（参考訳）: 学生設計における特徴に基づく知識蒸留の制御に関する研究
• Abstract要約: 特徴に基づく手法は中間表現を整列するが、この余分な制約は生徒に異なる影響を与える可能性がある。 本研究では,ResNet-50 教師,幅制御されたCustomResNet ファミリー,MobileNetV2 を相互設計比較として CIFAR-100 上で検討した。
• 参考スコア（独自算出の注目度）: 7.536322718084946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation trains a smaller student to match the outputs of a larger teacher. Feature-based methods also align intermediate representations, but this extra constraint may affect students differently. We study this question on CIFAR-100 using a ResNet-50 teacher, a width-controlled CustomResNet family and MobileNetV2 as a cross-design comparison. For each student, we evaluate each feature method against a matched logit-KD run using the same teacher, optimizer settings, training schedule and seed. We repeat the main comparisons across multiple seeds. Logit KD improved every tested student over its scratch baseline. Attention Transfer showed no clear relationship with size inside the CustomResNet family, but its average effect was negative for that family and positive for MobileNetV2. FitNets was below logit KD in all 15 paired runs. Within the constant-depth width sweep, its gap increased for wider students, although the different-depth w=48 student did not follow this trend. Finally, the same auxiliary coefficient produced different gradient scales across students, showing that a fixed coefficient does not create a uniform training condition.
• Abstract（参考訳）: 知識蒸留は、より小さな学生に、より大きな教師の出力に合わせるよう訓練する。 特徴に基づく手法も中間表現を整列させるが、この余分な制約は生徒に異なる影響を与える可能性がある。 本研究では,ResNet-50 教師,幅制御されたCustomResNet ファミリー,MobileNetV2 を相互設計比較として CIFAR-100 上で検討した。 各生徒に対して,同じ教師,オプティマイザ設定,トレーニングスケジュール,シードを用いて,一致したロジット-KD実行に対する各特徴量の評価を行った。 複数の種子の主比較を繰り返す。 Logit KDは、テスト対象の学生全員をスクラッチベースラインで改善した。 Attention TransferはCustomResNetファミリー内のサイズと明確な関係はみられなかったが、平均的な効果はそのファミリーでは陰性であり、MobileNetV2では陽性であった。 FitNetsは、全15対のランニングでロジットKDを下回った。 一定深度幅のスイープでは、より広い学生のギャップが増加したが、異なる深度w=48の学生はこの傾向に従わなかった。 最後に、同じ補助係数が生徒間で異なる勾配尺度を生成し、固定係数が均一な訓練条件を作らないことを示す。

関連論文リスト

• Relational Representation Distillation [6.24302896438145]
  知識蒸留は、巨大で面倒な教師モデルからよりコンパクトな学生モデルへの知識の伝達を伴う。 標準的アプローチは教師の内部表現における重要な構造的関係を捉えるのに失敗する。 近年の進歩は対照的な学習目標に変わったが、これらの手法はインスタンス識別を通じて過度に厳格な制約を課している。 本手法では,教師と生徒の分布に異なる温度パラメータを用い,よりシャープな学生出力を用いて,二次的類似性を保ちながら一次関係の正確な学習を可能にする。
  論文  参考訳（メタデータ） (2024-07-16T14:56:13Z)
• Improving Knowledge Distillation via Regularizing Feature Norm and Direction [16.98806338782858]
  知識蒸留(KD)は、大きな訓練されたモデル(例えば教師)を利用して、同じタスクのために同じデータセット上で小さな学生モデルを訓練する。 教師の特徴を知識として扱うこと、知識蒸留訓練の学生は、その特徴を教師の特徴と整合させることによって、例えば、ロジット間のKL偏差を最小化し、中間特徴間のL2距離を最小化する。 教師に対する生徒の特徴の整合性の向上は教師の知識をよりよく蒸留すると考えるのは自然なことだが、単にこの整合性を強制することは生徒のパフォーマンスに直接寄与しない。
  論文  参考訳（メタデータ） (2023-05-26T15:05:19Z)
• Improved knowledge distillation by utilizing backward pass knowledge in neural networks [17.437510399431606]
  知識蒸留(KD)は、モデル圧縮において重要な技術の一つである。 本研究では,教師の後方パスから知識を抽出し,新たな補助訓練サンプルを作成する。 自然言語処理(NLP)と言語理解(Language understanding)の応用において,この手法がいかにうまく利用できるかを示す。
  論文  参考訳（メタデータ） (2023-01-27T22:07:38Z)
• Switchable Online Knowledge Distillation [68.2673580932132]
  オンライン知識蒸留(OKD)は、教師と学生の違いを相互に活用することで、関係するモデルを改善する。 そこで我々は,これらの疑問に答えるために,スイッチブルオンライン知識蒸留(SwitOKD)を提案する。
  論文  参考訳（メタデータ） (2022-09-12T03:03:40Z)
• Student Helping Teacher: Teacher Evolution via Self-Knowledge Distillation [20.17325172100031]
  本稿では,教師が構造的バックボーンを共有することで,複数の階層的な学生の助けを借りて学習する,新しい学生ヘルピング・ティーチンガー式,TESKD(Tell-Helping-Teacher Evolution)を提案する。 提案手法の有効性は,CIFAR-100 と ImageNet の2つの標準ベンチマークにおいて,様々なネットワーク設定による広範な実験により実証された。
  論文  参考訳（メタデータ） (2021-10-01T11:46:12Z)
• Bag of Instances Aggregation Boosts Self-supervised Learning [122.61914701794296]
  教師なし学習のための簡易かつ効果的な蒸留戦略を提案する。 BINGOと呼ばれる本手法は,教師が学習した関係を学生に伝達することを目的としている。 BINGOは、小規模モデルにおける最先端の新たなパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-07-04T17:33:59Z)
• Graph Consistency based Mean-Teaching for Unsupervised Domain Adaptive Person Re-Identification [54.58165777717885]
  本論文では,教師ネットワークと学生ネットワークの間にGCC(Graph Consistency Constraint)を構築するためのGCMT(Graph Consistency Based Mean-Teaching)手法を提案する。 マーケット-1501、デュークMTMCreID、MSMT17の3つのデータセットの実験により、提案されたGCMTは最先端の手法よりも明確なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-05-11T04:09:49Z)
• Distilling a Powerful Student Model via Online Knowledge Distillation [158.68873654990895]
  既存のオンライン知識蒸留アプローチは、最高のパフォーマンスを持つ学生を採用するか、より良い全体的なパフォーマンスのためのアンサンブルモデルを構築する。 本稿では,機能融合と自己蒸留という2つの要素からなるFFSDと呼ばれる新しいオンライン知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2021-03-26T13:54:24Z)
• Reducing the Teacher-Student Gap via Spherical Knowledge Disitllation [67.75526580926149]
  知識蒸留は、はるかに大きなものから写像関数を学習することにより、コンパクトで効果的なモデルを得ることを目的としている。 本研究では,教師と学生の信頼のギャップを調査し,容量ギャップ問題について検討する。 知識蒸留には信頼度は必要とせず,学生が自信を習得せざるを得ない場合には,学生のパフォーマンスを損なう可能性がある。
  論文  参考訳（メタデータ） (2020-10-15T03:03:36Z)
• Inter-Region Affinity Distillation for Road Marking Segmentation [81.3619453527367]
  本研究では,大規模な教員ネットワークからより小さな学生ネットワークへ知識を蒸留する問題について検討する。 我々の手法はInter-Region Affinity KD(IntRA-KD)として知られている。
  論文  参考訳（メタデータ） (2020-04-11T04:26:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。