論文の概要: AD-KD: Attribution-Driven Knowledge Distillation for Language Model Compression

• arxiv url: http://arxiv.org/abs/2305.10010v1
• Date: Wed, 17 May 2023 07:40:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-18 17:04:22.624000
• Title: AD-KD: Attribution-Driven Knowledge Distillation for Language Model Compression
• Title（参考訳）: AD-KD: 言語モデル圧縮のための属性駆動型知識蒸留
• Authors: Siyue Wu, Hongzhan Chen, Xiaojun Quan, Qifan Wang, Rui Wang
• Abstract要約: 本稿では,事前学習言語モデルを圧縮するための新しい帰属駆動型知識蒸留手法を提案する。 モデル推論と一般化の知識伝達を強化するため,教師のすべての潜在的判断に対する多視点帰属蒸留について検討する。
• 参考スコア（独自算出の注目度）: 26.474962405945316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation has attracted a great deal of interest recently to compress pre-trained language models. However, existing knowledge distillation methods suffer from two limitations. First, the student model simply imitates the teacher's behavior while ignoring the underlying reasoning. Second, these methods usually focus on the transfer of sophisticated model-specific knowledge but overlook data-specific knowledge. In this paper, we present a novel attribution-driven knowledge distillation approach, which explores the token-level rationale behind the teacher model based on Integrated Gradients (IG) and transfers attribution knowledge to the student model. To enhance the knowledge transfer of model reasoning and generalization, we further explore multi-view attribution distillation on all potential decisions of the teacher. Comprehensive experiments are conducted with BERT on the GLUE benchmark. The experimental results demonstrate the superior performance of our approach to several state-of-the-art methods.
• Abstract（参考訳）: 知識蒸留は最近、事前学習された言語モデルを圧縮するために多くの関心を集めている。 しかし、既存の知識蒸留法には2つの限界がある。 まず、生徒モデルは、基礎となる推論を無視しながら、単に教師の行動を模倣する。 第二に、これらの手法は通常、洗練されたモデル固有の知識の伝達に焦点を当てるが、データ固有の知識を見落としている。 本稿では,教師モデルの背後にあるトークンレベルの理論的根拠を,統合的グラディエント(IG)に基づいて探求し,帰属的知識を学生モデルに伝達する,新規な帰属的知識蒸留手法を提案する。 モデル推論と一般化の知識伝達を強化するため,我々は教師のあらゆる潜在的決定に対する多視点帰属蒸留について検討する。 総合的な実験は BERT を用いて GLUE ベンチマークで実施される。 実験結果は,いくつかの最先端手法に対するアプローチの優れた性能を示す。

関連論文リスト

• MLKD-BERT: Multi-level Knowledge Distillation for Pre-trained Language Models [4.404914701832396]
  本研究では,教師-学生の枠組みにおける多段階知識を蒸留するための知識蒸留手法MLKD-BERTを提案する。 本手法は, BERTにおける最先端の知識蒸留法より優れている。 さらに、MLKD-BERTは、生徒の注意番号を柔軟に設定でき、性能低下を少なく抑えることができる。
  論文  参考訳（メタデータ） (2024-07-03T03:03:30Z)
• Knowledge Distillation via Token-level Relationship Graph [12.356770685214498]
  token-level Relation Graph (TRG) を用いた知識蒸留法を提案する。 TRGを利用することで、教師モデルから高レベルの意味情報を効果的にエミュレートすることができる。 我々は,提案手法の有効性を,いくつかの最先端手法に対して評価する実験を行った。
  論文  参考訳（メタデータ） (2023-06-20T08:16:37Z)
• Improved Knowledge Distillation for Pre-trained Language Models via Knowledge Selection [35.515135913846386]
  本稿では, 知識蒸留プロセスにおいて, 適切な知識を選択するためのアクター批判的アプローチを提案する。 GLUEデータセットによる実験結果から,本手法はいくつかの強い知識蒸留基準を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-02-01T13:40:19Z)
• Exploring Inconsistent Knowledge Distillation for Object Detection with Data Augmentation [66.25738680429463]
  物体検出のための知識蒸留(KD)は、教師モデルから知識を伝達することで、コンパクトな検出器を訓練することを目的としている。 教師モデルの反直感的知覚に固有の知識を蒸留することを目的とした,一貫性のない知識蒸留(IKD)を提案する。 本手法は, 1段, 2段, アンカーフリーの物体検出器において, 最先端のKDベースラインより優れる。
  論文  参考訳（メタデータ） (2022-09-20T16:36:28Z)
• Knowledge Distillation Meets Open-Set Semi-Supervised Learning [69.21139647218456]
  本研究では,事前学習した教師から対象学生へ,表現的知識を意味的に蒸留する新しいモデル名(bfem shortname)を提案する。 問題レベルでは、これは知識蒸留とオープンセット半教師付き学習(SSL)との興味深い関係を確立する。 我々のショートネームは、粗い物体分類と微妙な顔認識タスクの両方において、最先端の知識蒸留法よりもかなり優れている。
  論文  参考訳（メタデータ） (2022-05-13T15:15:27Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Extracting knowledge from features with multilevel abstraction [3.4443503349903124]
  自己知識蒸留(SKD)は、大きな教師モデルから小さな学生モデルに知識を移すことを目的としている。 本稿では,本手法と異なる方法で,新しいSKD手法を提案する。 実験とアブレーション研究は、様々なタスクにおいて、その大きな効果と一般化を示している。
  論文  参考訳（メタデータ） (2021-12-04T02:25:46Z)
• Revisiting Knowledge Distillation: An Inheritance and Exploration Framework [153.73692961660964]
  知識蒸留(KD)は、教師モデルから生徒モデルに知識を伝達する一般的な手法である。 新たな継承・探索知識蒸留フレームワーク(IE-KD)を提案する。 我々のIE-KDフレームワークは汎用的であり、ディープニューラルネットワークを訓練するための既存の蒸留や相互学習手法と簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-01T02:20:56Z)
• Collaborative Teacher-Student Learning via Multiple Knowledge Transfer [79.45526596053728]
  複数知識伝達(CTSL-MKT)による協調学習を提案する。 複数の学生が協調的な方法で個々のインスタンスとインスタンスの関係の両方から知識を学ぶことができます。 4つの画像データセットの実験とアブレーション研究は、提案したCTSL-MKTが最先端のKD法よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2021-01-21T07:17:04Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)
• DE-RRD: A Knowledge Distillation Framework for Recommender System [16.62204445256007]
  DE-RRDと呼ばれるレコメンダーシステムのためのナレッジ蒸留フレームワークを提案する。 これにより,教師モデルにエンコードされた潜在知識や教師の予測から学習モデルを学ぶことができる。 実験の結果,DE-RRDは最先端の競争相手よりも優れており,より高速な推論時間で教師モデルに匹敵する,あるいはさらに優れた性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2020-12-08T11:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。