論文の概要: FiGKD: Fine-Grained Knowledge Distillation via High-Frequency Detail Transfer

• arxiv url: http://arxiv.org/abs/2505.11897v1
• Date: Sat, 17 May 2025 08:27:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.923903
• Title: FiGKD: Fine-Grained Knowledge Distillation via High-Frequency Detail Transfer
• Title（参考訳）: FiGKD:高周波Detail Transferによる微粒化知識蒸留
• Authors: Seonghak Kim,
• Abstract要約: Fine-Grained Knowledge Distillation (FiGKD) は、モデルのロジットを低周波(コンテンツ)と高周波(詳細)に分解する周波数認識フレームワークである。 FiGKDは、最先端のロジットベースおよび特徴ベースの蒸留法を様々な教師の学生構成で一貫して上回っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) is a widely adopted technique for transferring knowledge from a high-capacity teacher model to a smaller student model by aligning their output distributions. However, existing methods often underperform in fine-grained visual recognition tasks, where distinguishing subtle differences between visually similar classes is essential. This performance gap stems from the fact that conventional approaches treat the teacher's output logits as a single, undifferentiated signal-assuming all contained information is equally beneficial to the student. Consequently, student models may become overloaded with redundant signals and fail to capture the teacher's nuanced decision boundaries. To address this issue, we propose Fine-Grained Knowledge Distillation (FiGKD), a novel frequency-aware framework that decomposes a model's logits into low-frequency (content) and high-frequency (detail) components using the discrete wavelet transform (DWT). FiGKD selectively transfers only the high-frequency components, which encode the teacher's semantic decision patterns, while discarding redundant low-frequency content already conveyed through ground-truth supervision. Our approach is simple, architecture-agnostic, and requires no access to intermediate feature maps. Extensive experiments on CIFAR-100, TinyImageNet, and multiple fine-grained recognition benchmarks show that FiGKD consistently outperforms state-of-the-art logit-based and feature-based distillation methods across a variety of teacher-student configurations. These findings confirm that frequency-aware logit decomposition enables more efficient and effective knowledge transfer, particularly in resource-constrained settings.
• Abstract（参考訳）: 知識蒸留(KD)は,高容量教師モデルからより小さな学生モデルへ,出力分布を整列させて知識を伝達する手法として広く採用されている。 しかし、既存の手法は、視覚的に類似したクラス間の微妙な違いを区別することが不可欠である、きめ細かな視覚認識タスクでは、しばしば性能が劣る。 この性能差は、教師の出力ロジットを1つの未分化信号として扱う従来の手法が、生徒にも同様に有益であるという事実に起因している。 結果として、学生モデルは冗長な信号で過負荷になり、教師の微妙な決定境界を捉えられなくなる。 この問題を解決するために、離散ウェーブレット変換(DWT)を用いて、モデルのロジットを低周波(コンテンツ)と高周波(詳細)に分解する新しい周波数認識フレームワークであるFiGKDを提案する。 FiGKDは、教師の意味決定パターンを符号化する高周波コンポーネントのみを選択的に転送すると同時に、すでに地道的な監督によって伝えられている冗長な低周波コンテンツを捨てる。 私たちのアプローチはシンプルで、アーキテクチャに依存しませんし、中間機能マップへのアクセスも必要ありません。 CIFAR-100、TinyImageNet、および複数の微粒化認識ベンチマークに関する大規模な実験により、FiGKDは様々な教師の学生構成において、最先端のロジットベースおよび特徴ベースの蒸留方法よりも一貫して優れていることが示された。 これらの結果から,特に資源制約条件下では,周波数対応ロジット分解により,より効率的かつ効果的な知識伝達が可能であることが確認された。

関連論文リスト

• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Cross-View Consistency Regularisation for Knowledge Distillation [13.918476599394603]
  この研究は、半教師付き学習のような分野におけるクロスビュー学習の成功に触発されている。 標準ロジット蒸留フレームワークにインテリアビューおよびクロスビューレギュラー化を導入する。 また,教師の蒸留信号の品質向上のために,信頼性に基づくソフトラベルマイニングを実施している。
  論文  参考訳（メタデータ） (2024-12-21T05:41:47Z)
• U-Know-DiffPAN: An Uncertainty-aware Knowledge Distillation Diffusion Framework with Details Enhancement for PAN-Sharpening [21.639802380314734]
  本研究では,不確実な知識蒸留拡散フレームワークを提案する。 U-Know-DiffPANは、教師モデルから学生モデルへの特徴詳細の効果的な伝達のために、不確実性を認識した知識蒸留を取り入れている。 多様なデータセットの実験は、非常に最近の最先端の Pan-Sharpening 法よりも、我々の U-Know-DiffPAN の堅牢性と優れた性能を示している。
  論文  参考訳（メタデータ） (2024-12-09T06:33:36Z)
• One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
  拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。 近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。 我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:47:22Z)
• Exploring Cross-Domain Few-Shot Classification via Frequency-Aware Prompting [37.721042095518044]
  クロスドメインなFew-Shot Learningはメタラーニングの発展に大きく貢献している。 本稿では,相互に注意を向けた周波数対応プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T08:14:09Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。