論文の概要: Feature-map-level Online Adversarial Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2002.01775v3
• Date: Fri, 5 Jun 2020 18:15:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 20:45:10.736862
• Title: Feature-map-level Online Adversarial Knowledge Distillation
• Title（参考訳）: 特徴マップレベルのオンライン敵対的知識蒸留
• Authors: Inseop Chung, SeongUk Park, Jangho Kim, Nojun Kwak
• Abstract要約: 本稿では,クラス確率の知識だけでなく,特徴マップの知識を伝達するオンライン知識蒸留法を提案する。 異なるネットワークの特徴マップ分布を識別するために,識別器を用いて複数のネットワークを同時に訓練する。 本手法は,L1などの従来の直接アライメント法よりも優れた性能を示し,オンライン蒸留に適していることを示す。
• 参考スコア（独自算出の注目度）: 36.42703358752526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature maps contain rich information about image intensity and spatial correlation. However, previous online knowledge distillation methods only utilize the class probabilities. Thus in this paper, we propose an online knowledge distillation method that transfers not only the knowledge of the class probabilities but also that of the feature map using the adversarial training framework. We train multiple networks simultaneously by employing discriminators to distinguish the feature map distributions of different networks. Each network has its corresponding discriminator which discriminates the feature map from its own as fake while classifying that of the other network as real. By training a network to fool the corresponding discriminator, it can learn the other network's feature map distribution. We show that our method performs better than the conventional direct alignment method such as L1 and is more suitable for online distillation. Also, we propose a novel cyclic learning scheme for training more than two networks together. We have applied our method to various network architectures on the classification task and discovered a significant improvement of performance especially in the case of training a pair of a small network and a large one.
• Abstract（参考訳）: 特徴マップは、画像強度と空間相関に関する豊富な情報を含んでいる。 しかし、従来のオンライン知識蒸留法はクラス確率のみを利用する。 そこで本稿では, 授業確率の知識だけでなく, 敵対的学習フレームワークを用いた特徴マップの知識を伝達するオンライン知識蒸留手法を提案する。 異なるネットワークの特徴マップ分布を識別するために,識別器を用いて複数のネットワークを同時に訓練する。 各ネットワークは対応する識別器を持ち、その特徴マップを偽として識別し、他のネットワークを現実として分類する。 ネットワークをトレーニングして対応する判別器を騙すことで、他のネットワークの特徴マップ分布を学習することができる。 本手法は,従来のl1などの直接アライメント法よりも優れた性能を示し,オンライン蒸留に適することを示す。 また,2つ以上のネットワークを同時に学習するための新しい循環学習手法を提案する。 本手法を分類タスクの様々なネットワークアーキテクチャに適用し,特に小ネットワークと大ネットワークのペアを訓練する場合において,性能が著しく向上することを発見した。

関連論文リスト

• Direct Distillation between Different Domains [97.39470334253163]
  異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。 まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。 次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
  論文  参考訳（メタデータ） (2024-01-12T02:48:51Z)
• Distribution Shift Matters for Knowledge Distillation with Webly Collected Images [91.66661969598755]
  異なる分布間の知識蒸留という新しい手法を提案する(KD$3$)。 まず,教師ネットワークと学生ネットワークの併用予測に基づいて,Webで収集したデータから有用なトレーニングインスタンスを動的に選択する。 また、MixDistributionと呼ばれる新しいコントラスト学習ブロックを構築して、新しい分散のインスタンスアライメントで摂動データを生成します。
  論文  参考訳（メタデータ） (2023-07-21T10:08:58Z)
• Self-Supervised Learning for Binary Networks by Joint Classifier Training [11.612308609123566]
  本稿では,バイナリネットワークのための自己教師付き学習手法を提案する。 バイナリネットワークのより良いトレーニングのために,特徴類似性損失,損失項の動的バランススキーム,マルチステージトレーニングの修正を提案する。 実証実験により、BSSLは、下流タスクにおけるバイナリネットワークの自己教師付き学習ベースラインよりも優れ、特定のタスクにおける教師付き事前学習よりも優れています。
  論文  参考訳（メタデータ） (2021-10-17T15:38:39Z)
• Unsupervised Domain-adaptive Hash for Networks [81.49184987430333]
  ドメイン適応型ハッシュ学習はコンピュータビジョンコミュニティでかなりの成功を収めた。 UDAHと呼ばれるネットワークのための教師なしドメイン適応型ハッシュ学習手法を開発した。
  論文  参考訳（メタデータ） (2021-08-20T12:09:38Z)
• Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
  本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。 勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。 実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-31T11:47:47Z)
• Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge Distillation [12.097302014936655]
  本論文では,FRSKD (Self-Knowledge Distillation) による自己知識蒸留法を提案する。 提案手法であるFRSKDは,ソフトラベルと特徴マップ蒸留の両方を自己知識蒸留に利用できる。 様々なタスクとベンチマークデータセットのパフォーマンス改善を列挙することで、frskdの有効性を実証する。
  論文  参考訳（メタデータ） (2021-03-15T10:59:43Z)
• Feature Sharing Cooperative Network for Semantic Segmentation [10.305130700118399]
  協調学習を用いた意味セグメンテーション手法を提案する。 特徴マップを共有することにより、2つのネットワークのうちの1つが1つのネットワークで取得できない情報を得ることができる。 提案手法は従来の単一ネットワークやネットワークアンサンブルよりも高いセグメンテーション精度を実現した。
  論文  参考訳（メタデータ） (2021-01-20T00:22:00Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。