論文の概要: Hint-dynamic Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2211.17059v1
• Date: Wed, 30 Nov 2022 15:03:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 16:14:43.793911
• Title: Hint-dynamic Knowledge Distillation
• Title（参考訳）: ヒント動的知識蒸留
• Authors: Yiyang Liu, Chenxin Li, Xiaotong Tu, Xinghao Ding, Yue Huang
• Abstract要約: HKDと呼ばれるHint-dynamic Knowledge Distillationは、動的スキームで教師のヒントから知識を抽出する。 メタウェイトネットワークを導入し、知識ヒントに関するインスタンス単位の重み係数を生成する。 CIFAR-100とTiny-ImageNetの標準ベンチマークの実験では、提案したHKDが知識蒸留タスクの効果を高めることが示されている。
• 参考スコア（独自算出の注目度）: 30.40008256306688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Distillation (KD) transfers the knowledge from a high-capacity teacher model to promote a smaller student model. Existing efforts guide the distillation by matching their prediction logits, feature embedding, etc., while leaving how to efficiently utilize them in junction less explored. In this paper, we propose Hint-dynamic Knowledge Distillation, dubbed HKD, which excavates the knowledge from the teacher' s hints in a dynamic scheme. The guidance effect from the knowledge hints usually varies in different instances and learning stages, which motivates us to customize a specific hint-learning manner for each instance adaptively. Specifically, a meta-weight network is introduced to generate the instance-wise weight coefficients about knowledge hints in the perception of the dynamical learning progress of the student model. We further present a weight ensembling strategy to eliminate the potential bias of coefficient estimation by exploiting the historical statics. Experiments on standard benchmarks of CIFAR-100 and Tiny-ImageNet manifest that the proposed HKD well boost the effect of knowledge distillation tasks.
• Abstract（参考訳）: 知識蒸留(KD)は、高能力の教師モデルから知識を伝達し、より小さな学生モデルを促進する。 既存の取り組みは、それらの予測ロジットや特徴埋め込みなどと一致させることで蒸留を導くと同時に、接合部での効率よく利用する方法も検討されていない。 本稿では,hkdと呼ばれる動的スキームにおける教師のsヒントから知識を抽出したヒント動的知識蒸留法を提案する。 知識ヒントからのガイダンス効果は、通常、異なるインスタンスと学習段階で異なり、各インスタンスに対して特定のヒント学習方法を適応的にカスタマイズする動機付けとなります。 具体的には,生徒モデルの動的学習進行の知覚において,知識ヒントに関するインスタンス毎の重み係数を生成するために,メタ重み付きネットワークを導入する。 さらに,過去の静的情報を利用して係数推定の潜在的なバイアスをなくすための重みセンシング戦略を提案する。 CIFAR-100とTiny-ImageNetの標準ベンチマークの実験では、提案したHKDが知識蒸留タスクの効果を高めることが示されている。

関連論文リスト

• Adaptive Explicit Knowledge Transfer for Knowledge Distillation [17.739979156009696]
  教師モデルから,非目標クラスの確率分布を効果的に提供することにより,ロジットに基づく知識蒸留の性能を向上させることができることを示す。 本研究では,学習者が暗黙的な知識を適応的に学習できる新たな損失を提案する。 実験結果から, 適応的明示的知識伝達法(AEKT)は, 最先端KD法と比較して性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-09-03T07:42:59Z)
• LAKD-Activation Mapping Distillation Based on Local Learning [12.230042188890838]
  本稿では,新しい知識蒸留フレームワークであるローカル注意知識蒸留(LAKD)を提案する。 LAKDは、教師ネットワークからの蒸留情報をより効率的に利用し、高い解釈性と競争性能を実現する。 CIFAR-10, CIFAR-100, ImageNetのデータセットについて実験を行い, LAKD法が既存手法より有意に優れていたことを示す。
  論文  参考訳（メタデータ） (2024-08-21T09:43:27Z)
• Comparative Knowledge Distillation [102.35425896967791]
  伝統的な知識蒸留(KD)は、頻繁な推論のために教師モデルに容易にアクセスできることを前提としている。 本稿では,教師モデルにおけるサンプルの解釈の微妙な違いを学生モデルに理解させるための比較知識蒸留(CKD)を提案する。 CKDは、アートデータ拡張とKDテクニックの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2023-11-03T21:55:33Z)
• Knowledge Distillation via Token-level Relationship Graph [12.356770685214498]
  token-level Relation Graph (TRG) を用いた知識蒸留法を提案する。 TRGを利用することで、教師モデルから高レベルの意味情報を効果的にエミュレートすることができる。 我々は,提案手法の有効性を,いくつかの最先端手法に対して評価する実験を行った。
  論文  参考訳（メタデータ） (2023-06-20T08:16:37Z)
• AD-KD: Attribution-Driven Knowledge Distillation for Language Model Compression [26.474962405945316]
  本稿では,事前学習言語モデルを圧縮するための新しい帰属駆動型知識蒸留手法を提案する。 モデル推論と一般化の知識伝達を強化するため,教師のすべての潜在的判断に対する多視点帰属蒸留について検討する。
  論文  参考訳（メタデータ） (2023-05-17T07:40:12Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• A Closer Look at Knowledge Distillation with Features, Logits, and Gradients [81.39206923719455]
  知識蒸留(KD)は、学習した知識をあるニューラルネットワークモデルから別のニューラルネットワークモデルに転送するための重要な戦略である。 この研究は、古典的なKL分割基準を異なる知識源で近似することで、一連の知識蒸留戦略を動機付ける新しい視点を提供する。 分析の結果,ロジットは一般的により効率的な知識源であり,十分な特徴次元を持つことがモデル設計に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2022-03-18T21:26:55Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• All About Knowledge Graphs for Actions [82.39684757372075]
  ゼロショットと少数ショットのアクション認識に使用できる知識グラフ(KG)の理解を深める。 KGsの3つの異なる構成機構について検討した。 異なる実験装置に対する異なるKGの影響を広範囲に解析する。
  論文  参考訳（メタデータ） (2020-08-28T01:44:01Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。