論文の概要: Feature-based One-For-All: A Universal Framework for Heterogeneous Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2501.08885v1
• Date: Wed, 15 Jan 2025 15:56:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:52:20.549417
• Title: Feature-based One-For-All: A Universal Framework for Heterogeneous Knowledge Distillation
• Title（参考訳）: 特徴に基づく一対一:不均一な知識蒸留のための普遍的なフレームワーク
• Authors: Jhe-Hao Lin, Yi Yao, Chan-Feng Hsu, Hongxia Xie, Hong-Han Shuai, Wen-Huang Cheng,
• Abstract要約: 知識蒸留(KD)は、事前訓練された重教師モデルからより軽い学生モデルに知識を移す。 多様なアーキテクチャにまたがる機能蒸留を可能にする機能ベースの1-for-all(FOFA)KDフレームワークを提案する。 まず、学生のフィードバックを取り入れたプロンプトチューニングブロックを設計し、教師が生徒モデルの学習プロセスに適応できるようにする。
• 参考スコア（独自算出の注目度）: 28.722795943076306
• License:
• Abstract: Knowledge distillation (KD) involves transferring knowledge from a pre-trained heavy teacher model to a lighter student model, thereby reducing the inference cost while maintaining comparable effectiveness. Prior KD techniques typically assume homogeneity between the teacher and student models. However, as technology advances, a wide variety of architectures have emerged, ranging from initial Convolutional Neural Networks (CNNs) to Vision Transformers (ViTs), and Multi-Level Perceptrons (MLPs). Consequently, developing a universal KD framework compatible with any architecture has become an important research topic. In this paper, we introduce a feature-based one-for-all (FOFA) KD framework to enable feature distillation across diverse architecture. Our framework comprises two key components. First, we design prompt tuning blocks that incorporate student feedback, allowing teacher features to adapt to the student model's learning process. Second, we propose region-aware attention to mitigate the view mismatch problem between heterogeneous architecture. By leveraging these two modules, effective distillation of intermediate features can be achieved across heterogeneous architectures. Extensive experiments on CIFAR, ImageNet, and COCO demonstrate the superiority of the proposed method.
• Abstract（参考訳）: 知識蒸留(KD)は、事前訓練された重教師モデルからより軽い学生モデルに知識を移すことによって、同等の有効性を維持しながら推論コストを低減させる。 従来のKD技法は、教師と生徒のモデルの間の均質性を前提としていた。 しかし、技術が進歩するにつれて、初期の畳み込みニューラルネットワーク(CNN)からビジョントランスフォーマー(ViT)、マルチレベルパーセプトロン(MLP)まで幅広いアーキテクチャが出現した。 したがって、あらゆるアーキテクチャと互換性のある普遍的なKDフレームワークの開発は、重要な研究トピックとなっている。 本稿では,多種多様なアーキテクチャをまたいだ機能蒸留を可能にする機能ベース1-for-all(FOFA)KDフレームワークを提案する。 私たちのフレームワークは2つの重要なコンポーネントで構成されています。 まず、学生のフィードバックを取り入れたプロンプトチューニングブロックを設計し、教師が生徒モデルの学習プロセスに適応できるようにする。 第2に、異種アーキテクチャ間のビューミスマッチ問題を緩和するために、地域対応の注意を喚起する。 これら2つのモジュールを利用することで、異種アーキテクチャ全体にわたって効果的な中間的特徴の蒸留が可能となる。 CIFAR, ImageNet, COCO に関する大規模な実験により,提案手法の優位性を実証した。

関連論文リスト

• TAS: Distilling Arbitrary Teacher and Student via a Hybrid Assistant [52.0297393822012]
  異質な教師と学生間の機能的知識の伝達を容易にするために,橋梁としてアシスタントモデルを導入する。 提案した設計原理の中では, クロスアーキテクチャ帰納バイアスとモジュール関数の利点を組み合わせたアシスタントモデルが提案されている。 提案手法は, CNN, ViT, 空間KDの同種モデルペアと任意の異種組み合わせを用いて評価する。
  論文  参考訳（メタデータ） (2024-10-16T08:02:49Z)
• Generalizing Teacher Networks for Effective Knowledge Distillation Across Student Architectures [4.960025399247103]
  Generic Teacher Network (GTN) は、知識を有限のアーキテクチャプールからサンプリングされた任意の学生モデルに効果的に伝達できる汎用的な教師を作成するための、一発のKD-awareトレーニングである。 本手法は, 総合的なKD効果の向上と, プール内の生徒間での総合教師のトレーニングコストの最小化を両立させる。
  論文  参考訳（メタデータ） (2024-07-22T20:34:00Z)
• Aligning in a Compact Space: Contrastive Knowledge Distillation between Heterogeneous Architectures [4.119589507611071]
  本稿では,低周波成分を用いたコントラスト知識蒸留(Contrastive Knowledge Distillation, LFCC)フレームワークを提案する。 具体的には、教師モデルと学生モデルの両方から中間特徴の低周波成分を抽出するために、マルチスケールの低域通過フィルタを設計する。 本稿では,ImageNet-1K と CIFAR-100 のベンチマークにおいて,LFCC が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-05-28T18:44:42Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• Enhancing Representations through Heterogeneous Self-Supervised Learning [61.40674648939691]
  本稿では,HSSL(Heterogeneous Self-Supervised Learning)を提案する。 HSSLは、構造的変化を伴わない表現学習方式で、ベースモデルに新しい特徴を付与する。 HSSLは、様々な自己教師型メソッドと互換性があり、様々な下流タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-08T10:44:05Z)
• Exploring Inter-Channel Correlation for Diversity-preserved KnowledgeDistillation [91.56643684860062]
  ICKD (Inter-Channel correlation for Knowledge Distillation) を開発した。 ICKDは教師ネットワークにおける特徴空間の内在分布と十分な多様性特性をキャプチャする。 我々は,ノウルエッジ蒸留に基づく最初の手法であるResNet18は,ImageNet分類におけるTop-1の精度を72%以上向上させる。
  論文  参考訳（メタデータ） (2022-02-08T07:01:56Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Revisiting Knowledge Distillation: An Inheritance and Exploration Framework [153.73692961660964]
  知識蒸留(KD)は、教師モデルから生徒モデルに知識を伝達する一般的な手法である。 新たな継承・探索知識蒸留フレームワーク(IE-KD)を提案する。 我々のIE-KDフレームワークは汎用的であり、ディープニューラルネットワークを訓練するための既存の蒸留や相互学習手法と簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-01T02:20:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。