論文の概要: MUSE: Feature Self-Distillation with Mutual Information and Self-Information

• arxiv url: http://arxiv.org/abs/2110.12606v1
• Date: Mon, 25 Oct 2021 02:36:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 16:00:55.088043
• Title: MUSE: Feature Self-Distillation with Mutual Information and Self-Information
• Title（参考訳）: MUSE:相互情報と自己情報を用いた機能自己蒸留
• Authors: Yu Gong and Ye Yu and Gaurav Mittal and Greg Mori and Mei Chen
• Abstract要約: 深層畳み込みニューラルネットワーク(CNN)の特徴間の依存性を導入するための新しい情報理論アプローチを提案する。 提案手法の中核となる考え方は,CNNの異なる層から抽出した全ての特徴の表現性を向上させるために,MUSEとSelf-informationを組み合わせることである。
• 参考スコア（独自算出の注目度）: 46.085251712767665
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a novel information-theoretic approach to introduce dependency among features of a deep convolutional neural network (CNN). The core idea of our proposed method, called MUSE, is to combine MUtual information and SElf-information to jointly improve the expressivity of all features extracted from different layers in a CNN. We present two variants of the realization of MUSE -- Additive Information and Multiplicative Information. Importantly, we argue and empirically demonstrate that MUSE, compared to other feature discrepancy functions, is a more functional proxy to introduce dependency and effectively improve the expressivity of all features in the knowledge distillation framework. MUSE achieves superior performance over a variety of popular architectures and feature discrepancy functions for self-distillation and online distillation, and performs competitively with the state-of-the-art methods for offline distillation. MUSE is also demonstrably versatile that enables it to be easily extended to CNN-based models on tasks other than image classification such as object detection.
• Abstract（参考訳）: 本稿では,深層畳み込みニューラルネットワーク(CNN)の特徴間の依存性を導入するための新しい情報理論手法を提案する。 提案手法の中核となる考え方は,CNNの異なる層から抽出した全ての特徴の表現性を,相互情報と自己情報を組み合わせることである。 追加情報と乗算情報という,MUSEの実現の2つのバリエーションを示す。 重要なことは、MUSEが他の特徴不一致関数と比較して、依存性を導入し、知識蒸留フレームワークにおける全ての特徴の表現性を効果的に改善するためのより機能的なプロキシであることを議論し、実証的に示すことである。 MUSEは、多種多様な人気アーキテクチャや、自己蒸留やオンライン蒸留における特徴差機能よりも優れた性能を発揮し、オフライン蒸留の最先端手法と競争的に機能する。 MUSEは明らかに汎用性があり、オブジェクト検出などの画像分類以外のタスクでCNNベースのモデルに容易に拡張できる。

関連論文リスト

• MLP-KAN: Unifying Deep Representation and Function Learning [7.634331640151854]
  そこで本研究では,手動モデル選択の必要性を解消する統一手法を提案する。 表現学習にMLP(Multi-Layer Perceptrons)と関数学習にKolmogorov-Arnold Networks(KANsogo)を統合することにより,優れた結果が得られた。
  論文  参考訳（メタデータ） (2024-10-03T22:22:43Z)
• Dynamic importance learning using fisher information gain for nonlinear system identification [0.2455468619225742]
  Fisher Information Matrix (FIM) は、観測可能な確率変数の情報内容を定量化する方法を提供する。 本稿では、FIMをトレーニングプロセスに統合したエンドツーエンドのブラックボックスシステム識別手法を提案する。 その結果,提案手法は動的相互作用の様々なタイプを効果的に捉えていることがわかった。
  論文  参考訳（メタデータ） (2024-06-08T08:12:41Z)
• Multilinear Operator Networks [60.7432588386185]
  ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。 マルチリニア演算子のみに依存するMONetを提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:52:19Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• CMD: Self-supervised 3D Action Representation Learning with Cross-modal Mutual Distillation [130.08432609780374]
  3D行動認識では、骨格のモダリティの間に豊富な相補的な情報が存在する。 本稿では,CMD(Cross-modal Mutual Distillation)フレームワークを提案する。 提案手法は,既存の自己管理手法より優れ,新しい記録を多数設定する。
  論文  参考訳（メタデータ） (2022-08-26T06:06:09Z)
• Multi scale Feature Extraction and Fusion for Online Knowledge Distillation [5.311178623385279]
  オンライン知識蒸留のためのマルチスケール特徴抽出・融合法(MFEF)を提案する。 MFEFは、マルチスケール特徴抽出、デュアルアテンション、フィーチャーフュージョンの3つの重要なコンポーネントから構成されている。 CIF AR-10、CIF AR-100、CINIC-10の実験により、MFEFは蒸留においてより有益な表現的知識を伝達することが示された。
  論文  参考訳（メタデータ） (2022-06-16T14:50:41Z)
• Self-Attention Neural Bag-of-Features [103.70855797025689]
  我々は最近導入された2D-Attentionの上に構築し、注意学習方法論を再構築する。 本稿では,関連情報を強調した2次元目視マスクを学習する機能・時間的アテンション機構を提案する。
  論文  参考訳（メタデータ） (2022-01-26T17:54:14Z)
• Assessing the Impact of Attention and Self-Attention Mechanisms on the Classification of Skin Lesions [0.0]
  注意モジュールと自己注意という,2種類の注意機構に注目した。 注意モジュールは各層入力テンソルの特徴を再重み付けするために使用される。 自己認識(Self-Attention)は、元々自然言語処理の分野で提案されていたもので、入力シーケンス内のすべての項目を関連付けることができる。
  論文  参考訳（メタデータ） (2021-12-23T18:02:48Z)
• ConAM: Confidence Attention Module for Convolutional Neural Networks [1.3571579680845614]
  本研究では,局所的な文脈情報とグローバルな文脈情報との相関に基づく新しいアテンション機構を提案する。 本手法は,少ないパラメータで情報量を増加させつつ,無駄な情報を抑制する。 私たちはPythonライブラリのPytorchでConAMを実装しています。
  論文  参考訳（メタデータ） (2021-10-27T12:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。