論文の概要: Harmonizing knowledge Transfer in Neural Network with Unified Distillation

• arxiv url: http://arxiv.org/abs/2409.18565v1
• Date: Fri, 27 Sep 2024 09:09:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-01 21:55:30.172312
• Title: Harmonizing knowledge Transfer in Neural Network with Unified Distillation
• Title（参考訳）: 統一蒸留を用いたニューラルネットワークにおける知識伝達の調和化
• Authors: Yaomin Huang, Zaomin Yan, Chaomin Shen, Faming Fang, Guixu Zhang,
• Abstract要約: 知識蒸留(KD)は、アーキテクチャを変更することなく、面倒なネットワーク(教師)から軽量なネットワーク(学生)に知識を伝達する能力で知られている。 本稿では,統一KDフレームワークにおける多様な知識源を活用することによって,新たな視点を紹介する。
• 参考スコア（独自算出の注目度）: 20.922545937770085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation (KD), known for its ability to transfer knowledge from a cumbersome network (teacher) to a lightweight one (student) without altering the architecture, has been garnering increasing attention. Two primary categories emerge within KD methods: feature-based, focusing on intermediate layers' features, and logits-based, targeting the final layer's logits. This paper introduces a novel perspective by leveraging diverse knowledge sources within a unified KD framework. Specifically, we aggregate features from intermediate layers into a comprehensive representation, effectively gathering semantic information from different stages and scales. Subsequently, we predict the distribution parameters from this representation. These steps transform knowledge from the intermediate layers into corresponding distributive forms, thereby allowing for knowledge distillation through a unified distribution constraint at different stages of the network, ensuring the comprehensiveness and coherence of knowledge transfer. Numerous experiments were conducted to validate the effectiveness of the proposed method.
• Abstract（参考訳）: 知識蒸留(KD)は、アーキテクチャを変えることなく、厄介なネットワーク(教師)から軽量なネットワーク(学生)に知識を伝達する能力で知られており、注目を集めている。 KDメソッドには2つの主要なカテゴリがある。機能ベース、中間層の機能に焦点を当て、最終層のロジットをターゲットにしたロジットベースである。 本稿では,統一KDフレームワークにおける多様な知識源を活用することによって,新たな視点を紹介する。 具体的には、中間層の特徴を包括的表現に集約し、異なる段階と規模から意味情報を効果的に収集する。 次に,この表現から分布パラメータを推定する。 これらのステップは、中間層からの知識を対応する分配形式に変換し、ネットワークの異なる段階における統一分布制約による知識蒸留を可能にし、知識伝達の包括性と一貫性を確保する。 提案手法の有効性を検証するために, 多数の実験を行った。

関連論文リスト

• Direct Distillation between Different Domains [97.39470334253163]
  異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。 まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。 次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
  論文  参考訳（メタデータ） (2024-01-12T02:48:51Z)
• AICSD: Adaptive Inter-Class Similarity Distillation for Semantic Segmentation [12.92102548320001]
  本稿では,知識蒸留を目的としたICSD (Inter-Class similarity Distillation) を提案する。 提案手法は,教師ネットワークから生徒ネットワークへの高次関係を,ネットワーク出力から各クラス毎のクラス内分布を独立に計算することによって伝達する。 セマンティックセグメンテーションのためのよく知られた2つのデータセットであるCityscapesとPascal VOC 2012の実験により、提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2023-08-08T13:17:20Z)
• Learning to Retain while Acquiring: Combating Distribution-Shift in Adversarial Data-Free Knowledge Distillation [31.294947552032088]
  データフリーな知識蒸留(DFKD)は、教師から学生ニューラルネットワークへの知識伝達を、訓練データがない状態で行うという基本的な考え方により、近年人気を集めている。 本稿では,メタトレインとメタテストとして,知識獲得(新たに生成されたサンプルからの学習)と知識保持(以前に得られたサンプルの知識の保持)の課題を取り扱うことで,メタ学習にインスパイアされたフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-28T03:50:56Z)
• Impact of a DCT-driven Loss in Attention-based Knowledge-Distillation for Scene Recognition [64.29650787243443]
  本稿では, アクティベーションマップの2次元周波数変換を転送前に提案し, 解析する。 この戦略は、シーン認識などのタスクにおける知識伝達可能性を高める。 我々は、この論文で使われているトレーニングおよび評価フレームワークを、http://www.vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognitionで公開しています。
  論文  参考訳（メタデータ） (2022-05-04T11:05:18Z)
• Exploring Inter-Channel Correlation for Diversity-preserved KnowledgeDistillation [91.56643684860062]
  ICKD (Inter-Channel correlation for Knowledge Distillation) を開発した。 ICKDは教師ネットワークにおける特徴空間の内在分布と十分な多様性特性をキャプチャする。 我々は,ノウルエッジ蒸留に基づく最初の手法であるResNet18は,ImageNet分類におけるTop-1の精度を72%以上向上させる。
  論文  参考訳（メタデータ） (2022-02-08T07:01:56Z)
• Hierarchical Self-supervised Augmented Knowledge Distillation [1.9355744690301404]
  本稿では,ネットワークを誘導し,本来の認識タスクと自己教師付き補助タスクの共分散を学習するための,新たな自己教師型拡張タスクを提案する。 正規分類能力を失うことなく、表現力を向上させるためのより豊かな知識として実証される。 CIFAR-100では平均2.56%,ImageNetでは0.77%向上した。
  論文  参考訳（メタデータ） (2021-07-29T02:57:21Z)
• Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge Distillation [12.097302014936655]
  本論文では,FRSKD (Self-Knowledge Distillation) による自己知識蒸留法を提案する。 提案手法であるFRSKDは,ソフトラベルと特徴マップ蒸留の両方を自己知識蒸留に利用できる。 様々なタスクとベンチマークデータセットのパフォーマンス改善を列挙することで、frskdの有効性を実証する。
  論文  参考訳（メタデータ） (2021-03-15T10:59:43Z)
• Wasserstein Contrastive Representation Distillation [114.24609306495456]
  We propose Wasserstein Contrastive Representation Distillation (WCoRD) which leverages both primal and dual form of Wasserstein distance for knowledge distillation。 二重形式はグローバルな知識伝達に使用され、教師と学生のネットワーク間の相互情報の低い境界を最大化する対照的な学習目標をもたらします。 実験では、提案されたWCoRD法が特権情報蒸留、モデル圧縮およびクロスモーダル転送における最先端のアプローチを上回ることを実証した。
  論文  参考訳（メタデータ） (2020-12-15T23:43:28Z)
• Multi-head Knowledge Distillation for Model Compression [65.58705111863814]
  そこで本研究では,中間層における特徴マッチングのための補助分類器を用いた簡易実装法を提案する。 提案手法は,本論文で提示された従来手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-05T00:49:14Z)
• Spectrum-Guided Adversarial Disparity Learning [52.293230153385124]
  本稿では,新たなエンド・ツー・エンドの知識指向学習フレームワークを提案する。 2つの競合符号化分布を用いてクラス条件付きクラス内不一致を表現し、学習された不一致を識別することで精製された潜伏符号を学習する。 4つのHARベンチマークデータセットに対する実験により,提案手法の頑健性と,最先端の手法による一般化が実証された。
  論文  参考訳（メタデータ） (2020-07-14T05:46:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。