論文の概要: Multi scale Feature Extraction and Fusion for Online Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2206.08224v1
• Date: Thu, 16 Jun 2022 14:50:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 15:56:27.723330
• Title: Multi scale Feature Extraction and Fusion for Online Knowledge Distillation
• Title（参考訳）: オンライン知識蒸留のためのマルチスケール特徴抽出と融合
• Authors: Panpan Zou, Yinglei Teng, Tao Niu
• Abstract要約: オンライン知識蒸留のためのマルチスケール特徴抽出・融合法(MFEF)を提案する。 MFEFは、マルチスケール特徴抽出、デュアルアテンション、フィーチャーフュージョンの3つの重要なコンポーネントから構成されている。 CIF AR-10、CIF AR-100、CINIC-10の実験により、MFEFは蒸留においてより有益な表現的知識を伝達することが示された。
• 参考スコア（独自算出の注目度）: 5.311178623385279
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online knowledge distillation conducts knowledge transfer among all student models to alleviate the reliance on pre-trained models. However, existing online methods rely heavily on the prediction distributions and neglect the further exploration of the representational knowledge. In this paper, we propose a novel Multi-scale Feature Extraction and Fusion method (MFEF) for online knowledge distillation, which comprises three key components: Multi-scale Feature Extraction, Dual-attention and Feature Fusion, towards generating more informative feature maps for distillation. The multiscale feature extraction exploiting divide-and-concatenate in channel dimension is proposed to improve the multi-scale representation ability of feature maps. To obtain more accurate information, we design a dual-attention to strengthen the important channel and spatial regions adaptively. Moreover, we aggregate and fuse the former processed feature maps via feature fusion to assist the training of student models. Extensive experiments on CIF AR-10, CIF AR-100, and CINIC-10 show that MFEF transfers more beneficial representational knowledge for distillation and outperforms alternative methods among various network architectures
• Abstract（参考訳）: オンライン知識蒸留は、事前訓練されたモデルへの依存を軽減するために、すべての学生モデル間で知識伝達を行う。 しかし、既存のオンライン手法は予測分布に大きく依存しており、表現的知識のさらなる探求を無視している。 本稿では, オンライン知識蒸留のための新しいマルチスケール特徴抽出・融合法(MFEF)を提案する。 チャネル次元の分割結合を利用したマルチスケール特徴抽出により,特徴写像のマルチスケール表現能力の向上が期待できる。 より正確な情報を得るため、重要なチャンネルと空間領域を適応的に強化するデュアルアテンションを設計する。 さらに,前者の処理した特徴マップを機能融合によって集約・融合し,学生モデルの学習を支援する。 CIF AR-10、CIF AR-100、CINIC-10の広範囲にわたる実験により、MFEFは蒸留においてより有益な表現的知識を伝達し、様々なネットワークアーキテクチャにおける代替手法より優れていることが示された。

関連論文リスト

• PVAFN: Point-Voxel Attention Fusion Network with Multi-Pooling Enhancing for 3D Object Detection [59.355022416218624]
  点とボクセルの表現の統合は、LiDARベースの3Dオブジェクト検出においてより一般的になりつつある。 PVAFN(Point-Voxel Attention Fusion Network)と呼ばれる新しい2段3次元物体検出器を提案する。 PVAFNはマルチプール戦略を使用して、マルチスケールとリージョン固有の情報を効果的に統合する。
  論文  参考訳（メタデータ） (2024-08-26T19:43:01Z)
• LAKD-Activation Mapping Distillation Based on Local Learning [12.230042188890838]
  本稿では,新しい知識蒸留フレームワークであるローカル注意知識蒸留(LAKD)を提案する。 LAKDは、教師ネットワークからの蒸留情報をより効率的に利用し、高い解釈性と競争性能を実現する。 CIFAR-10, CIFAR-100, ImageNetのデータセットについて実験を行い, LAKD法が既存手法より有意に優れていたことを示す。
  論文  参考訳（メタデータ） (2024-08-21T09:43:27Z)
• FSD-BEV: Foreground Self-Distillation for Multi-view 3D Object Detection [33.225938984092274]
  本稿では,分散の相違を効果的に回避するFSD方式を提案する。 また2つのポイントクラウド拡張(PCI)戦略を設計し、ポイントクラウドの幅を補う。 マルチスケール・フォアグラウンド・エンハンスメント(MSFE)モジュールを開発し,マルチスケール・フォアグラウンドの特徴を抽出・融合する。
  論文  参考訳（メタデータ） (2024-07-14T09:39:44Z)
• AMFD: Distillation via Adaptive Multimodal Fusion for Multispectral Pedestrian Detection [23.91870504363899]
  マルチスペクトル検出におけるダブルストリームネットワークは、マルチモーダルデータに2つの異なる特徴抽出枝を用いる。 これにより、組み込みデバイスにおける多スペクトル歩行者検出が自律システムに広く採用されるのを妨げている。 本稿では,教師ネットワークの本来のモーダル特徴を完全に活用できる適応型モーダル核融合蒸留(AMFD)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2024-05-21T17:17:17Z)
• Efficient Multimodal Fusion via Interactive Prompting [62.08292938484994]
  大規模事前学習は、コンピュータビジョンや自然言語処理のような一助的な分野を新しい時代にもたらした。 本稿では,一様事前学習型変圧器の融合に適した効率的かつ柔軟な多モード融合法PMFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T07:31:51Z)
• MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
  マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。 人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。 本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-01-24T17:48:04Z)
• Deep Multimodal Fusion by Channel Exchanging [87.40768169300898]
  本稿では,異なるモードのサブネットワーク間で動的にチャネルを交換するパラメータフリーマルチモーダル融合フレームワークを提案する。 このような交換プロセスの有効性は、畳み込みフィルタを共有してもBN層をモダリティで分離しておくことで保証される。
  論文  参考訳（メタデータ） (2020-11-10T09:53:20Z)
• Online Knowledge Distillation via Multi-branch Diversity Enhancement [15.523646047674717]
  複数の学生モデル間の多様性を高めるため,新しい蒸留法を提案する。 ネットワークにおけるアテンション機構の性能を向上させる機能融合モジュール(FFM)を用いる。 また,学生モデルの違いを強化するために,多変量化(CD)損失関数を用いた。
  論文  参考訳（メタデータ） (2020-10-02T05:52:12Z)
• Differentiable Feature Aggregation Search for Knowledge Distillation [47.94874193183427]
  単教師蒸留フレームワークにおける多教師蒸留を模倣する特徴集約について紹介する。 DFAは、ニューラルネットワーク探索においてDARTSによって動機付けられた2段階の微分可能特徴集合探索法である。 実験の結果,DFAはCIFAR-100およびCINIC-10データセットの既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-08-02T15:42:29Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。