論文の概要: Aligning in a Compact Space: Contrastive Knowledge Distillation between Heterogeneous Architectures

• arxiv url: http://arxiv.org/abs/2405.18524v1
• Date: Tue, 28 May 2024 18:44:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 22:03:07.113868
• Title: Aligning in a Compact Space: Contrastive Knowledge Distillation between Heterogeneous Architectures
• Title（参考訳）: コンパクトな空間に配向する:不均一なアーキテクチャ間の対照的な知識蒸留
• Authors: Hongjun Wu, Li Xiao, Xingkuo Zhang, Yining Miao,
• Abstract要約: 本稿では,低周波成分を用いたコントラスト知識蒸留(Contrastive Knowledge Distillation, LFCC)フレームワークを提案する。 具体的には、教師モデルと学生モデルの両方から中間特徴の低周波成分を抽出するために、マルチスケールの低域通過フィルタを設計する。 本稿では,ImageNet-1K と CIFAR-100 のベンチマークにおいて,LFCC が優れた性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 4.119589507611071
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation is commonly employed to compress neural networks, reducing the inference costs and memory footprint. In the scenario of homogenous architecture, feature-based methods have been widely validated for their effectiveness. However, in scenarios where the teacher and student models are of heterogeneous architectures, the inherent differences in feature representation significantly degrade the performance of these methods. Recent studies have highlighted that low-frequency components constitute the majority of image features. Motivated by this, we propose a Low-Frequency Components-based Contrastive Knowledge Distillation (LFCC) framework that significantly enhances the performance of feature-based distillation between heterogeneous architectures. Specifically, we designe a set of multi-scale low-pass filters to extract the low-frequency components of intermediate features from both the teacher and student models, aligning them in a compact space to overcome architectural disparities. Moreover, leveraging the intrinsic pairing characteristic of the teacher-student framework, we design an innovative sample-level contrastive learning framework that adeptly restructures the constraints of within-sample feature similarity and between-sample feature divergence into a contrastive learning task. This strategy enables the student model to capitalize on intra-sample feature congruence while simultaneously enhancing the discrimination of features among disparate samples. Consequently, our LFCC framework accurately captures the commonalities in feature representation across heterogeneous architectures. Extensive evaluations and empirical analyses across three architectures (CNNs, Transformers, and MLPs) demonstrate that LFCC achieves superior performance on the challenging benchmarks of ImageNet-1K and CIFAR-100. All codes will be publicly available.
• Abstract（参考訳）: 知識蒸留はニューラルネットワークを圧縮するために一般的に用いられ、推論コストとメモリフットプリントを削減している。 均質アーキテクチャのシナリオでは、特徴に基づく手法がその有効性に対して広く検証されている。 しかし、教師モデルと学生モデルが異種アーキテクチャである場合、特徴表現の固有の違いはこれらの手法の性能を著しく低下させる。 近年の研究では、低周波成分が画像の特徴の大部分を占めていることが強調されている。 そこで本研究では,低周波成分を用いたコントラスト知識蒸留(Contrastive Knowledge Distillation, LFCC)フレームワークを提案する。 具体的には,教師モデルと学生モデルの両方から,中間特徴の低周波成分を抽出するマルチスケール低域フィルタの集合を設計し,それらをコンパクトな空間に整列させて,構造的差異を克服する。 さらに,教師/学生の本質的なペアリング特性を活用して,サンプル内特徴類似性の制約とサンプル間特徴分散の制約をコントラスト学習タスクに順応的に再構成する,革新的なサンプルレベルのコントラスト学習フレームワークを設計する。 この戦略により、学生モデルは、異なるサンプルの特徴の識別を同時に強化しつつ、サンプル内特徴の一致に乗じることができる。 その結果,LFCCフレームワークは異種アーキテクチャにおける特徴表現の共通点を正確に捉えている。 3つのアーキテクチャ(CNN, Transformer, MLP)にわたる広範囲な評価と実証分析により,ImageNet-1KとCIFAR-100の挑戦的なベンチマークにおいて,LFCCが優れた性能を発揮することが示された。 すべてのコードは公開されます。

関連論文リスト

• TAS: Distilling Arbitrary Teacher and Student via a Hybrid Assistant [52.0297393822012]
  異質な教師と学生間の機能的知識の伝達を容易にするために,橋梁としてアシスタントモデルを導入する。 提案した設計原理の中では, クロスアーキテクチャ帰納バイアスとモジュール関数の利点を組み合わせたアシスタントモデルが提案されている。 提案手法は, CNN, ViT, 空間KDの同種モデルペアと任意の異種組み合わせを用いて評価する。
  論文  参考訳（メタデータ） (2024-10-16T08:02:49Z)
• On Layer-wise Representation Similarity: Application for Multi-Exit Models with a Single Classifier [20.17288970927518]
  本研究では,各変圧器の隠蔽層間の表現の類似性について検討する。 本稿では,内部表現の類似性を高めるための協調学習手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T16:41:09Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• Enhancing Representations through Heterogeneous Self-Supervised Learning [61.40674648939691]
  本稿では,HSSL(Heterogeneous Self-Supervised Learning)を提案する。 HSSLは、構造的変化を伴わない表現学習方式で、ベースモデルに新しい特徴を付与する。 HSSLは、様々な自己教師型メソッドと互換性があり、様々な下流タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-08T10:44:05Z)
• Understanding the Robustness of Multi-modal Contrastive Learning to Distribution Shift [14.641747166801133]
  CLIPのようなマルチモーダルな対照的な学習アプローチは、分散シフトに対して堅牢な学習表現において、顕著な成功を収めている。 MMCLの強靭性の背後にある2つのメカニズムを同定する。 理論的には、リッチキャプションを用いたロバストネスの利点を実証し、キャプション内の様々な種類の詳細を注釈付けする効果を探求する。
  論文  参考訳（メタデータ） (2023-10-08T02:25:52Z)
• Ultra Sharp : Study of Single Image Super Resolution using Residual Dense Network [0.15229257192293202]
  シングルイメージ・スーパーレゾリューション(SISR)はコンピュータビジョンにおいて興味深い問題であり、不適切な問題となっている。 従来の超高解像度イメージングアプローチには、再構築、学習に基づく方法が含まれる。 本稿では,Yhangらが開発したResidual Dense Networksアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2023-04-21T10:32:24Z)
• Demystify Transformers & Convolutions in Modern Image Deep Networks [82.32018252867277]
  本稿では,一般のコンボリューションとアテンション演算子の真の利益を,詳細な研究により同定することを目的とする。 注意や畳み込みのようなこれらの特徴変換モジュールの主な違いは、それらの空間的特徴集約アプローチにある。 各種課題の実験と帰納的バイアスの解析により,ネットワークレベルとブロックレベルの高度な設計により,性能が著しく向上した。
  論文  参考訳（メタデータ） (2022-11-10T18:59:43Z)
• Spatio-Temporal Representation Factorization for Video-based Person Re-Identification [55.01276167336187]
  本稿では、re-IDのための時空間表現分解モジュール(STRF)を提案する。 STRFはフレキシブルな新しい計算ユニットであり、re-IDのための既存のほとんどの3D畳み込みニューラルネットワークアーキテクチャと併用することができる。 実験により、STRFは様々なベースラインアーキテクチャの性能を向上し、新しい最先端の成果を示す。
  論文  参考訳（メタデータ） (2021-07-25T19:29:37Z)
• Hierarchical Deep CNN Feature Set-Based Representation Learning for Robust Cross-Resolution Face Recognition [59.29808528182607]
  クロスリゾリューション顔認識(CRFR)は、インテリジェントな監視およびバイオメトリックフォレンジックにおいて重要である。 既存の浅層学習と深層学習に基づく手法は、HR-LR対を共同特徴空間にマッピングすることに焦点を当てている。 本研究では,多レベル深層畳み込みニューラルネットワーク(CNN)の機能を完全に活用し,堅牢なCRFRを実現することを目的とする。
  論文  参考訳（メタデータ） (2021-03-25T14:03:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。