論文の概要: Knowledge Distillation By Sparse Representation Matching

• arxiv url: http://arxiv.org/abs/2103.17012v1
• Date: Wed, 31 Mar 2021 11:47:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-01 14:32:42.451064
• Title: Knowledge Distillation By Sparse Representation Matching
• Title（参考訳）: スパース表現マッチングによる知識蒸留
• Authors: Dat Thanh Tran, Moncef Gabbouj, Alexandros Iosifidis
• Abstract要約: 本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。 勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。 実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
• 参考スコア（独自算出の注目度）: 107.87219371697063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Distillation refers to a class of methods that transfers the knowledge from a teacher network to a student network. In this paper, we propose Sparse Representation Matching (SRM), a method to transfer intermediate knowledge obtained from one Convolutional Neural Network (CNN) to another by utilizing sparse representation learning. SRM first extracts sparse representations of the hidden features of the teacher CNN, which are then used to generate both pixel-level and image-level labels for training intermediate feature maps of the student network. We formulate SRM as a neural processing block, which can be efficiently optimized using stochastic gradient descent and integrated into any CNN in a plug-and-play manner. Our experiments demonstrate that SRM is robust to architectural differences between the teacher and student networks, and outperforms other KD techniques across several datasets.
• Abstract（参考訳）: ナレッジ蒸留(Knowledge Distillation)とは、教師のネットワークから生徒のネットワークに知識を伝達する手法である。 本稿では,一方の畳み込みニューラルネットワーク(cnn)から得られた中間知識を,スパース表現学習を用いて他方に伝達する手法であるスパース表現マッチング(srm)を提案する。 SRMはまず教師CNNの隠れた特徴のスパース表現を抽出し、学生ネットワークの中間特徴マップをトレーニングするためのピクセルレベルラベルとイメージレベルラベルの両方を生成する。 我々はSRMをニューラルネットワークブロックとして定式化し、確率勾配勾配を用いて効率よく最適化し、プラグアンドプレイ方式で任意のCNNに統合する。 実験の結果,SRMは教師ネットワークと学生ネットワークのアーキテクチャ的差異に頑健であり,複数のデータセットで他のKD技術よりも優れていることがわかった。

関連論文リスト

• Linking in Style: Understanding learned features in deep learning models [0.0]
  畳み込みニューラルネットワーク(CNN)は抽象的な特徴を学び、オブジェクト分類を行う。 本稿では,CNNにおける学習特徴を可視化し,体系的に解析する自動手法を提案する。
  論文  参考訳（メタデータ） (2024-09-25T12:28:48Z)
• Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
  本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。 我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。 本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
  論文  参考訳（メタデータ） (2022-05-16T06:49:36Z)
• Graph Consistency based Mean-Teaching for Unsupervised Domain Adaptive Person Re-Identification [54.58165777717885]
  本論文では,教師ネットワークと学生ネットワークの間にGCC(Graph Consistency Constraint)を構築するためのGCMT(Graph Consistency Based Mean-Teaching)手法を提案する。 マーケット-1501、デュークMTMCreID、MSMT17の3つのデータセットの実験により、提案されたGCMTは最先端の手法よりも明確なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-05-11T04:09:49Z)
• Video-based Facial Expression Recognition using Graph Convolutional Networks [57.980827038988735]
  我々は、ビデオベースの表情認識のための共通のCNN-RNNモデルに、GCN(Graph Convolutional Network)層を導入する。 我々は、CK+、Oulu-CASIA、MMIの3つの広く使われているデータセットと、AFEW8.0の挑戦的なワイルドデータセットについて、本手法の評価を行った。
  論文  参考訳（メタデータ） (2020-10-26T07:31:51Z)
• Learning with Privileged Information for Efficient Image Super-Resolution [35.599731963795875]
  本稿では,FSRCNNの性能を大幅に向上させる,教員ネットワークと学生ネットワークからなる新しい蒸留フレームワークについて紹介する。 教師のエンコーダは、模倣損失を用いて劣化過程、HR画像のサブサンプリングを学習する。 FSRCNNと同じネットワークアーキテクチャを持つ教師の生徒とデコーダは、HR画像の再構築を試みる。
  論文  参考訳（メタデータ） (2020-07-15T07:44:18Z)
• Distilling Knowledge from Graph Convolutional Networks [146.71503336770886]
  既存の知識蒸留法は畳み込みニューラルネットワーク(CNN)に焦点を当てている 本稿では,事前学習したグラフ畳み込みネットワーク(GCN)モデルから知識を抽出する手法を提案する。 提案手法は,GCNモデルに対する最先端の知識蒸留性能を実現する。
  論文  参考訳（メタデータ） (2020-03-23T18:23:11Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。