論文の概要: UHKD: A Unified Framework for Heterogeneous Knowledge Distillation via Frequency-Domain Representations

• arxiv url: http://arxiv.org/abs/2510.24116v1
• Date: Tue, 28 Oct 2025 06:41:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.817448
• Title: UHKD: A Unified Framework for Heterogeneous Knowledge Distillation via Frequency-Domain Representations
• Title（参考訳）: UHKD:周波数領域表現による不均一な知識蒸留のための統一フレームワーク
• Authors: Fengming Yu, Haiwei Pan, Kejia Zhang, Jian Guan, Haiying Jiang,
• Abstract要約: クロスアーキテクチャ転送に周波数領域の中間的特徴を利用するフレームワークとして、統一不均一知識蒸留(UHKD)が提案されている。 CIFAR-100とImageNet-1Kの実験では、最新の手法よりも5.59%、0.83%向上した。
• 参考スコア（独自算出の注目度）: 5.382357091398666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) is an effective model compression technique that transfers knowledge from a high-performance teacher to a lightweight student, reducing cost while maintaining accuracy. In visual applications, where large-scale image models are widely used, KD enables efficient deployment. However, architectural diversity introduces semantic discrepancies that hinder the use of intermediate representations. Most existing KD methods are designed for homogeneous models and degrade in heterogeneous scenarios, especially when intermediate features are involved. Prior studies mainly focus on the logits space, making limited use of the semantic information in intermediate layers. To address this limitation, Unified Heterogeneous Knowledge Distillation (UHKD) is proposed as a framework that leverages intermediate features in the frequency domain for cross-architecture transfer. Fourier transform is applied to capture global feature information, alleviating representational discrepancies between heterogeneous teacher-student pairs. A Feature Transformation Module (FTM) produces compact frequency-domain representations of teacher features, while a learnable Feature Alignment Module (FAM) projects student features and aligns them via multi-level matching. Training is guided by a joint objective combining mean squared error on intermediate features with Kullback-Leibler divergence on logits. Experiments on CIFAR-100 and ImageNet-1K demonstrate gains of 5.59% and 0.83% over the latest method, highlighting UHKD as an effective approach for unifying heterogeneous representations and enabling efficient utilization of visual knowledge
• Abstract（参考訳）: 知識蒸留(KD)は、高性能な教師から軽量な学生に知識を伝達し、精度を維持しながらコストを削減できる効果的なモデル圧縮技術である。 大規模な画像モデルが広く使用されるビジュアルアプリケーションでは、KDは効率的なデプロイメントを可能にする。 しかし、アーキテクチャの多様性は、中間表現の使用を妨げる意味的な相違をもたらす。 既存のKD法の多くは同質なモデルのために設計されており、特に中間的特徴が関与する場合に不均一なシナリオで分解される。 それまでの研究は主にロジット空間に焦点を合わせ、中間層における意味情報を限定的に活用していた。 この制限に対処するために、クロスアーキテクチャ転送のために周波数領域の中間的特徴を利用するフレームワークとして、統一不均一知識蒸留(UHKD)を提案する。 フーリエ変換は、異質な教師と学生のペア間の表現上の相違を緩和し、グローバルな特徴情報をキャプチャするために用いられる。 フィーチャートランスフォーメーションモジュール(FTM)は教師機能のコンパクトな周波数領域表現を生成し、学習可能なフィーチャーアライメントモジュール(FAM)は生徒の機能を投影し、マルチレベルマッチングによって調整する。 中間的特徴に対する平均二乗誤差とロジット上のクルバック・リーブラーの発散を併用した共同目標によりトレーニングを導出する。 CIFAR-100とImageNet-1Kの実験は、最新の手法よりも5.59%と0.83%の上昇を示し、UHKDを不均一表現の統合と視覚知識の効率的な活用を可能にする効果的なアプローチとして強調している。

関連論文リスト

• Manifold-aware Representation Learning for Degradation-agnostic Image Restoration [135.90908995927194]
  画像復元(IR)は、ノイズ、ぼかし、迷路、雨、低照度といった様々な汚職に影響を受ける劣化した入力から高品質な画像を復元することを目的としている。 我々は、入力特徴空間を3つのセマンティックに整列した並列分岐に明示的に分解する1つのIRにおいて、すべてに統一されたフレームワークであるMIRAGEを提案する。 このモジュラ分解は、多種多様な分解の一般化と効率を大幅に改善する。
  論文  参考訳（メタデータ） (2025-05-24T12:52:10Z)
• FiGKD: Fine-Grained Knowledge Distillation via High-Frequency Detail Transfer [0.0]
  Fine-Grained Knowledge Distillation (FiGKD) は、モデルのロジットを低周波(コンテンツ)と高周波(詳細)に分解する周波数認識フレームワークである。 FiGKDは、最先端のロジットベースおよび特徴ベースの蒸留法を様々な教師の学生構成で一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-17T08:27:02Z)
• Contrastive Representation Distillation via Multi-Scale Feature Decoupling [2.0401874889991887]
  グローバルな特徴をマルチスケールな局所的特徴に体系的に分離する,モデルに依存しない蒸留フレームワークであるMSDCRDを提案する。 総合的な実験により,MSDCRDは同質な教師・学生設定だけでなく,異種アーキテクチャでも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-09T10:03:18Z)
• Fuse Before Transfer: Knowledge Fusion for Heterogeneous Distillation [52.0297393822012]
  異質な教師と学生間の機能的知識の伝達を容易にするために,橋梁としてアシスタントモデルを導入する。 提案した設計原理の中では, クロスアーキテクチャ帰納バイアスとモジュール関数の利点を組み合わせたアシスタントモデルが提案されている。 提案手法は, CNN, ViT, 空間KDの同種モデルペアと任意の異種組み合わせを用いて評価する。
  論文  参考訳（メタデータ） (2024-10-16T08:02:49Z)
• Aligning in a Compact Space: Contrastive Knowledge Distillation between Heterogeneous Architectures [4.119589507611071]
  本稿では,低周波成分を用いたコントラスト知識蒸留(Contrastive Knowledge Distillation, LFCC)フレームワークを提案する。 具体的には、教師モデルと学生モデルの両方から中間特徴の低周波成分を抽出するために、マルチスケールの低域通過フィルタを設計する。 本稿では,ImageNet-1K と CIFAR-100 のベンチマークにおいて,LFCC が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-05-28T18:44:42Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• DeepEMD: Differentiable Earth Mover's Distance for Few-Shot Learning [122.51237307910878]
  我々は,画像領域間の最適なマッチングの新しい視点から,少数ショット画像分類法を開発した。 我々は、高密度画像表現間の構造距離を計算するために、Earth Mover's Distance (EMD) を用いている。 定式化において重要な要素の重みを生成するために,我々は相互参照機構を設計する。
  論文  参考訳（メタデータ） (2020-03-15T08:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。