論文の概要: Activation Map Adaptation for Effective Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2010.13500v2
• Date: Thu, 14 Apr 2022 15:40:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 18:22:02.606470
• Title: Activation Map Adaptation for Effective Knowledge Distillation
• Title（参考訳）: 有効知識蒸留のための活性化マップ適応
• Authors: Zhiyuan Wu, Hong Qi, Yu Jiang, Minghao Zhao, Chupeng Cui, Zongmin Yang and Xinhui Xue
• Abstract要約: 汎用的な視覚表現学習のための知識蒸留戦略を提案する。 それは、よく設計されたアクティベーションマップ適応モジュールを使用して、教師ネットワークのいくつかのブロックを置き換える。 その結果,学生ネットワークの精度は0.6%向上し,損失の6.5%が減少し,トレーニング速度が大幅に向上した。
• 参考スコア（独自算出の注目度）: 5.064184148440531
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model compression becomes a recent trend due to the requirement of deploying neural networks on embedded and mobile devices. Hence, both accuracy and efficiency are of critical importance. To explore a balance between them, a knowledge distillation strategy is proposed for general visual representation learning. It utilizes our well-designed activation map adaptive module to replace some blocks of the teacher network, exploring the most appropriate supervisory features adaptively during the training process. Using the teacher's hidden layer output to prompt the student network to train so as to transfer effective semantic information.To verify the effectiveness of our strategy, this paper applied our method to cifar-10 dataset. Results demonstrate that the method can boost the accuracy of the student network by 0.6% with 6.5% loss reduction, and significantly improve its training speed.
• Abstract（参考訳）: モデル圧縮は、組み込みおよびモバイルデバイスにニューラルネットワークをデプロイする必要があるため、最近のトレンドになっている。 したがって、正確性と効率性の両方が重要である。 両者のバランスを探るため,一般的な視覚表現学習のための知識蒸留戦略を提案する。 教師ネットワークのいくつかのブロックを置き換えるために、よく設計されたアクティベーションマップ適応モジュールを使用し、トレーニングプロセス中に最も適切な監督機能を適応的に探索する。 教師の隠れたレイヤ出力を用いて,学生ネットワークに効果的な意味情報の伝達を促す。本手法の有効性を検証するため,本手法をcifar-10データセットに適用した。 その結果,学生ネットワークの精度は0.6%向上し,損失の6.5%が減少し,トレーニング速度が大幅に向上した。

関連論文リスト

• Local Masking Meets Progressive Freezing: Crafting Efficient Vision Transformers for Self-Supervised Learning [0.0]
  視覚変換器(ViT)のための自己教師型学習への革新的アプローチを提案する。 本手法は, ViTにおける初期層トレーニングの効率化と高速化に重点を置いている。 提案手法は,初期層における効率的な学習を促進する,新しいマルチスケール再構築プロセスを採用する。
  論文  参考訳（メタデータ） (2023-12-02T11:10:09Z)
• Impact of a DCT-driven Loss in Attention-based Knowledge-Distillation for Scene Recognition [64.29650787243443]
  本稿では, アクティベーションマップの2次元周波数変換を転送前に提案し, 解析する。 この戦略は、シーン認識などのタスクにおける知識伝達可能性を高める。 我々は、この論文で使われているトレーニングおよび評価フレームワークを、http://www.vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognitionで公開しています。
  論文  参考訳（メタデータ） (2022-05-04T11:05:18Z)
• Spirit Distillation: Precise Real-time Prediction with Insufficient Data [4.6247655021017655]
  スピリット蒸留(SD)という新しいトレーニングフレームワークを提案します。 微細チューニングに基づく伝達学習(FTT)と特徴に基づく知識蒸留の考え方を拡張している。 その結果, セグメンテーション(mIOU)において, 精度が1.4%, 精度が8.2%向上した。
  論文  参考訳（メタデータ） (2021-03-25T10:23:30Z)
• Efficient Estimation of Influence of a Training Instance [56.29080605123304]
  本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。 このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。 提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
  論文  参考訳（メタデータ） (2020-12-08T04:31:38Z)
• Point Adversarial Self Mining: A Simple Method for Facial Expression Recognition [79.75964372862279]
  本稿では,表情認識における認識精度を向上させるために,PASM(Point Adversarial Self Mining)を提案する。 PASMは、目標タスクに関連する最も情報性の高い位置を見つけるために、ポイント敵攻撃法と訓練された教師ネットワークを使用する。 適応学習教材の生成と教師/学生の更新を複数回行うことができ、ネットワーク能力が反復的に向上する。
  論文  参考訳（メタデータ） (2020-08-26T06:39:24Z)
• Interactive Knowledge Distillation [79.12866404907506]
  本稿では,効率的な知識蒸留のための対話型指導戦略を活用するために,対話型知識蒸留方式を提案する。 蒸留工程では,教師と学生のネットワーク間の相互作用を交換操作により行う。 教員ネットワークの典型的な設定による実験により,IAKDで訓練された学生ネットワークは,従来の知識蒸留法で訓練された学生ネットワークよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-07-03T03:22:04Z)
• A Hybrid Method for Training Convolutional Neural Networks [3.172761915061083]
  本稿では,畳み込みニューラルネットワークの学習にバックプロパゲーションと進化戦略の両方を用いるハイブリッド手法を提案する。 画像分類のタスクにおいて,提案手法は定期的な訓練において改善可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-15T17:52:48Z)
• Circumventing Outliers of AutoAugment with Knowledge Distillation [102.25991455094832]
  AutoAugmentは多くの視覚タスクの精度を向上させる強力なアルゴリズムである。 本論文は作業機構を深く掘り下げ,AutoAugmentがトレーニング画像から識別情報の一部を除去できることを明らかにする。 教師モデルの出力に言及した知識蒸留を用いて,ネットワークトレーニングの指導を行う。
  論文  参考訳（メタデータ） (2020-03-25T11:51:41Z)
• Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
  クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。 本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。 我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
  論文  参考訳（メタデータ） (2020-03-23T08:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。