論文の概要: Multi-granularity for knowledge distillation

• arxiv url: http://arxiv.org/abs/2108.06681v1
• Date: Sun, 15 Aug 2021 07:47:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-17 15:11:19.025169
• Title: Multi-granularity for knowledge distillation
• Title（参考訳）: 知識蒸留における多粒度
• Authors: Baitan Shao, Ying Chen
• Abstract要約: 生徒は教師が与える知識を理解する能力が異なる。 教師ネットワークの多粒性自己解析モジュールを設計する。 学生教育における堅牢な指導のために,安定した励振方式を提案する。
• 参考スコア（独自算出の注目度）: 3.3970049571884204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Considering the fact that students have different abilities to understand the knowledge imparted by teachers, a multi-granularity distillation mechanism is proposed for transferring more understandable knowledge for student networks. A multi-granularity self-analyzing module of the teacher network is designed, which enables the student network to learn knowledge from different teaching patterns. Furthermore, a stable excitation scheme is proposed for robust supervision for the student training. The proposed distillation mechanism can be embedded into different distillation frameworks, which are taken as baselines. Experiments show the mechanism improves the accuracy by 0.58% on average and by 1.08% in the best over the baselines, which makes its performance superior to the state-of-the-arts. It is also exploited that the student's ability of fine-tuning and robustness to noisy inputs can be improved via the proposed mechanism. The code is available at https://github.com/shaoeric/multi-granularity-distillation.
• Abstract（参考訳）: 生徒は教師が与える知識を理解する能力が異なることを考慮し,より理解しやすい知識を学生ネットワークに伝達するための多面的蒸留機構を提案する。 教師ネットワークの多粒性自己分析モジュールを設計し、学生ネットワークが異なる指導パターンから知識を学習できるようにする。 さらに,学生教育における堅牢な指導のために,安定した励振方式を提案する。 提案した蒸留機構は, 基本となる異なる蒸留機構に組み込むことができる。 実験によれば、このメカニズムは平均0.58%、ベースラインよりも1.08%精度が向上し、最新技術よりも性能が向上する。 また, 提案手法により, ノイズ入力に対する微調整能力と頑健性を向上させることができる。 コードはhttps://github.com/shaoeric/multi-granularity-distillationで入手できる。

関連論文リスト

• Learning Lightweight Object Detectors via Multi-Teacher Progressive Distillation [56.053397775016755]
  本稿では,教師検出器の知識を学生に段階的に伝達する,知識蒸留への逐次的アプローチを提案する。 私たちの知識を最大限に活用するために、私たちはTransformerベースの教師検出器から、畳み込みベースの学生まで、初めて知識を抽出しました。
  論文  参考訳（メタデータ） (2023-08-17T17:17:08Z)
• Supervision Complexity and its Role in Knowledge Distillation [65.07910515406209]
  蒸留した学生の一般化行動について検討する。 この枠組みは、教師の精度、教師の予測に対する生徒の差、教師の予測の複雑さの間の微妙な相互作用を強調している。 オンライン蒸留の有効性を実証し,様々な画像分類ベンチマークとモデルアーキテクチャに関する理論的知見を検証した。
  論文  参考訳（メタデータ） (2023-01-28T16:34:47Z)
• Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution [82.89021683451432]
  単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。 種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-18T02:41:04Z)
• Extracting knowledge from features with multilevel abstraction [3.4443503349903124]
  自己知識蒸留(SKD)は、大きな教師モデルから小さな学生モデルに知識を移すことを目的としている。 本稿では,本手法と異なる方法で,新しいSKD手法を提案する。 実験とアブレーション研究は、様々なタスクにおいて、その大きな効果と一般化を示している。
  論文  参考訳（メタデータ） (2021-12-04T02:25:46Z)
• Fixing the Teacher-Student Knowledge Discrepancy in Distillation [72.4354883997316]
  本稿では,教師の知識を学生とより整合させる,新たな学生依存型蒸留法である知識一貫型蒸留を提案する。 この手法は非常に柔軟で,他の最先端手法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-03-31T06:52:20Z)
• Student Network Learning via Evolutionary Knowledge Distillation [22.030934154498205]
  教師知識の伝達効率を改善するための進化的知識蒸留手法を提案する。 進化的教師は、固定された予習教師の代わりにオンラインで学習され、学生ネットワーク学習を監督するために、中間的知識を継続的に伝達する。 このようにして、学生は豊富な内部知識を同時に獲得し、その成長過程を捉え、効果的なネットワーク学習につながる。
  論文  参考訳（メタデータ） (2021-03-23T02:07:15Z)
• Learning Student-Friendly Teacher Networks for Knowledge Distillation [50.11640959363315]
  本研究では,教師から学生への暗黒知識の伝達を容易にする新しい知識蒸留手法を提案する。 事前教育を受けた教師に与えた学習モデルの効果的な学習方法のほとんどとは対照的に,学生に親しみやすい教師モデルを学ぶことを目的とする。
  論文  参考訳（メタデータ） (2021-02-12T07:00:17Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。