論文の概要: Impact of a DCT-driven Loss in Attention-based Knowledge-Distillation for Scene Recognition

• arxiv url: http://arxiv.org/abs/2205.01997v1
• Date: Wed, 4 May 2022 11:05:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-05 14:24:08.810266
• Title: Impact of a DCT-driven Loss in Attention-based Knowledge-Distillation for Scene Recognition
• Title（参考訳）: 場面認識のための意識に基づく知識蒸留におけるDCT駆動損失の影響
• Authors: Alejandro L\'opez-Cifuentes, Marcos Escudero-Vi\~nolo, Jes\'us Besc\'os and Juan C. SanMiguel
• Abstract要約: 本稿では, アクティベーションマップの2次元周波数変換を転送前に提案し, 解析する。 この戦略は、シーン認識などのタスクにおける知識伝達可能性を高める。 我々は、この論文で使われているトレーニングおよび評価フレームワークを、http://www.vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognitionで公開しています。
• 参考スコア（独自算出の注目度）: 64.29650787243443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Distillation (KD) is a strategy for the definition of a set of transferability gangways to improve the efficiency of Convolutional Neural Networks. Feature-based Knowledge Distillation is a subfield of KD that relies on intermediate network representations, either unaltered or depth-reduced via maximum activation maps, as the source knowledge. In this paper, we propose and analyse the use of a 2D frequency transform of the activation maps before transferring them. We pose that\textemdash by using global image cues rather than pixel estimates, this strategy enhances knowledge transferability in tasks such as scene recognition, defined by strong spatial and contextual relationships between multiple and varied concepts. To validate the proposed method, an extensive evaluation of the state-of-the-art in scene recognition is presented. Experimental results provide strong evidences that the proposed strategy enables the student network to better focus on the relevant image areas learnt by the teacher network, hence leading to better descriptive features and higher transferred performance than every other state-of-the-art alternative. We publicly release the training and evaluation framework used along this paper at http://www-vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognition.
• Abstract（参考訳）: KD(Knowledge Distillation)は、畳み込みニューラルネットワークの効率を改善するために、伝達可能性ギャングの集合を定義するための戦略である。 機能ベースの知識蒸留(英: feature-based knowledge distillation)はkdのサブフィールドであり、ソース・ナレッジ(source knowledge)として最大活性化マップ(英語版)を介して不変または深さに縮小された中間ネットワーク表現に依存する。 本稿では,アクティベーションマップの2次元周波数変換を転送する前に利用することを提案し,解析する。 画素推定ではなくグローバルイメージキューを用いて,この戦略は,複数の概念と異なる概念の強い空間的・文脈的関係によって定義されたシーン認識などのタスクにおける知識伝達可能性を高める。 提案手法を検証するために,シーン認識における最先端の広範な評価を行う。 実験の結果,提案手法により,教師ネットワークが学習する関連画像領域に,学生ネットワークがより焦点を合わせることが可能となり,記述的特徴が向上し,他の最先端の代替品よりも高い転送性能が得られるという強い証拠が得られた。 本稿で使用するトレーニングおよび評価フレームワークをhttp://www-vpu.eps.uam.es/publications/dctbasedkdforscenerecognitionで公開します。

関連論文リスト

• Harmonizing knowledge Transfer in Neural Network with Unified Distillation [20.922545937770085]
  知識蒸留(KD)は、アーキテクチャを変更することなく、面倒なネットワーク(教師)から軽量なネットワーク(学生)に知識を伝達する能力で知られている。 本稿では,統一KDフレームワークにおける多様な知識源を活用することによって,新たな視点を紹介する。
  論文  参考訳（メタデータ） (2024-09-27T09:09:45Z)
• Apprenticeship-Inspired Elegance: Synergistic Knowledge Distillation Empowers Spiking Neural Networks for Efficient Single-Eye Emotion Recognition [53.359383163184425]
  本稿では, 効率的な単一眼球運動認識タスクに適した, マルチモーダル・シナジスティック知識蒸留方式を提案する。 この方法では、軽量で単調な学生スパイクニューラルネットワーク(SNN)が、イベントフレームマルチモーダル教師ネットワークから豊富な知識を抽出することができる。
  論文  参考訳（メタデータ） (2024-06-20T07:24:47Z)
• Weakly Supervised Change Detection via Knowledge Distillation and Multiscale Sigmoid Inference [26.095501974608908]
  我々は知識蒸留とマルチスケールシグモイド推論(KD-MSI)による弱教師付き変化検出技術を開発した。 提案手法は,その統合学習戦略により,最先端技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-09T05:01:51Z)
• Feature-domain Adaptive Contrastive Distillation for Efficient Single Image Super-Resolution [3.2453621806729234]
  CNNベースのSISRは、多くのパラメータと高い計算コストを持ち、より良い性能を実現している。 知識蒸留(KD)は教師の有用な知識を学生に伝達する。 本稿では,軽量なSISRネットワークを効率的に訓練するための特徴領域適応型コントラスト蒸留(FACD)手法を提案する。
  論文  参考訳（メタデータ） (2022-11-29T06:24:14Z)
• Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution [82.89021683451432]
  単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。 種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-18T02:41:04Z)
• Revisiting The Evaluation of Class Activation Mapping for Explainability: A Novel Metric and Experimental Analysis [54.94682858474711]
  クラスアクティベーションマッピング(cam)アプローチは、アクティベーションマップの平均を重み付けすることで、効果的な可視化を提供する。 説明マップを定量化するための新しいメトリクスセットを提案し、より効果的な方法を示し、アプローチ間の比較を簡素化します。
  論文  参考訳（メタデータ） (2021-04-20T21:34:24Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。