論文の概要: Multi scale Feature Extraction and Fusion for Online Knowledge
Distillation
- arxiv url: http://arxiv.org/abs/2206.08224v1
- Date: Thu, 16 Jun 2022 14:50:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-17 15:56:27.723330
- Title: Multi scale Feature Extraction and Fusion for Online Knowledge
Distillation
- Title(参考訳): オンライン知識蒸留のためのマルチスケール特徴抽出と融合
- Authors: Panpan Zou, Yinglei Teng, Tao Niu
- Abstract要約: オンライン知識蒸留のためのマルチスケール特徴抽出・融合法(MFEF)を提案する。
MFEFは、マルチスケール特徴抽出、デュアルアテンション、フィーチャーフュージョンの3つの重要なコンポーネントから構成されている。
CIF AR-10、CIF AR-100、CINIC-10の実験により、MFEFは蒸留においてより有益な表現的知識を伝達することが示された。
- 参考スコア(独自算出の注目度): 5.311178623385279
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online knowledge distillation conducts knowledge transfer among all student
models to alleviate the reliance on pre-trained models. However, existing
online methods rely heavily on the prediction distributions and neglect the
further exploration of the representational knowledge. In this paper, we
propose a novel Multi-scale Feature Extraction and Fusion method (MFEF) for
online knowledge distillation, which comprises three key components:
Multi-scale Feature Extraction, Dual-attention and Feature Fusion, towards
generating more informative feature maps for distillation. The multiscale
feature extraction exploiting divide-and-concatenate in channel dimension is
proposed to improve the multi-scale representation ability of feature maps. To
obtain more accurate information, we design a dual-attention to strengthen the
important channel and spatial regions adaptively. Moreover, we aggregate and
fuse the former processed feature maps via feature fusion to assist the
training of student models. Extensive experiments on CIF AR-10, CIF AR-100, and
CINIC-10 show that MFEF transfers more beneficial representational knowledge
for distillation and outperforms alternative methods among various network
architectures
- Abstract(参考訳): オンライン知識蒸留は、事前訓練されたモデルへの依存を軽減するために、すべての学生モデル間で知識伝達を行う。
しかし、既存のオンライン手法は予測分布に大きく依存しており、表現的知識のさらなる探求を無視している。
本稿では, オンライン知識蒸留のための新しいマルチスケール特徴抽出・融合法(MFEF)を提案する。
チャネル次元の分割結合を利用したマルチスケール特徴抽出により,特徴写像のマルチスケール表現能力の向上が期待できる。
より正確な情報を得るため、重要なチャンネルと空間領域を適応的に強化するデュアルアテンションを設計する。
さらに,前者の処理した特徴マップを機能融合によって集約・融合し,学生モデルの学習を支援する。
CIF AR-10、CIF AR-100、CINIC-10の広範囲にわたる実験により、MFEFは蒸留においてより有益な表現的知識を伝達し、様々なネットワークアーキテクチャにおける代替手法より優れていることが示された。
関連論文リスト
- DistilVPR: Cross-Modal Knowledge Distillation for Visual Place
Recognition [27.742693995915808]
DistilVPRは視覚的位置認識のための新しい蒸留パイプラインである。
本稿では,教師と学生のニューラルネットワークにおいて,自己エージェントやクロスエージェントを含む複数のエージェントの機能的関係を活用することを提案する。
実験により, 提案したパイプラインは, 他の蒸留ベースラインと比較して, 最先端の性能を達成できることが実証された。
論文 参考訳(メタデータ) (2023-12-17T05:59:06Z) - Efficient Multimodal Fusion via Interactive Prompting [62.08292938484994]
大規模事前学習は、コンピュータビジョンや自然言語処理のような一助的な分野を新しい時代にもたらした。
本稿では,一様事前学習型変圧器の融合に適した効率的かつ柔軟な多モード融合法PMFを提案する。
論文 参考訳(メタデータ) (2023-04-13T07:31:51Z) - Channel Self-Supervision for Online Knowledge Distillation [14.033675223173933]
オンライン知識蒸留(CSS)のための新しいオンライン知識蒸留法, textbfChannel textbfSelf-textbfSupervisionを提案する。
我々は,マルチブランチ構造を構築し,自己教師付き学習を通じて分岐間多様性を向上させる。
提案手法はOKDDipよりも多様性が高く,PCLのような最先端技術でも高い性能向上を実現している。
論文 参考訳(メタデータ) (2022-03-22T12:35:20Z) - MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。
人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。
本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2022-01-24T17:48:04Z) - Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。
勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。
実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
論文 参考訳(メタデータ) (2021-03-31T11:47:47Z) - Distributed Dynamic Map Fusion via Federated Learning for Intelligent
Networked Vehicles [9.748996198083425]
本稿では,高い地図品質を実現するために,連合学習に基づく動的地図融合フレームワークを提案する。
提案されたフレームワークはcarla(carla)シミュレーションプラットフォームに実装されている。
論文 参考訳(メタデータ) (2021-03-05T16:28:46Z) - Deep Multimodal Fusion by Channel Exchanging [87.40768169300898]
本稿では,異なるモードのサブネットワーク間で動的にチャネルを交換するパラメータフリーマルチモーダル融合フレームワークを提案する。
このような交換プロセスの有効性は、畳み込みフィルタを共有してもBN層をモダリティで分離しておくことで保証される。
論文 参考訳(メタデータ) (2020-11-10T09:53:20Z) - Online Knowledge Distillation via Multi-branch Diversity Enhancement [15.523646047674717]
複数の学生モデル間の多様性を高めるため,新しい蒸留法を提案する。
ネットワークにおけるアテンション機構の性能を向上させる機能融合モジュール(FFM)を用いる。
また,学生モデルの違いを強化するために,多変量化(CD)損失関数を用いた。
論文 参考訳(メタデータ) (2020-10-02T05:52:12Z) - Differentiable Feature Aggregation Search for Knowledge Distillation [47.94874193183427]
単教師蒸留フレームワークにおける多教師蒸留を模倣する特徴集約について紹介する。
DFAは、ニューラルネットワーク探索においてDARTSによって動機付けられた2段階の微分可能特徴集合探索法である。
実験の結果,DFAはCIFAR-100およびCINIC-10データセットの既存手法よりも優れていた。
論文 参考訳(メタデータ) (2020-08-02T15:42:29Z) - Knowledge Distillation Meets Self-Supervision [109.6400639148393]
知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。
一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。
これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
論文 参考訳(メタデータ) (2020-06-12T12:18:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。