論文の概要: MLKD-BERT: Multi-level Knowledge Distillation for Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2407.02775v1
• Date: Wed, 3 Jul 2024 03:03:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 15:44:50.206131
• Title: MLKD-BERT: Multi-level Knowledge Distillation for Pre-trained Language Models
• Title（参考訳）: MLKD-BERT:事前学習言語モデルのための多段階知識蒸留
• Authors: Ying Zhang, Ziheng Yang, Shufan Ji,
• Abstract要約: 本研究では,教師-学生の枠組みにおける多段階知識を蒸留するための知識蒸留手法MLKD-BERTを提案する。 本手法は, BERTにおける最先端の知識蒸留法より優れている。 さらに、MLKD-BERTは、生徒の注意番号を柔軟に設定でき、性能低下を少なく抑えることができる。
• 参考スコア（独自算出の注目度）: 4.404914701832396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation is an effective technique for pre-trained language model compression. Although existing knowledge distillation methods perform well for the most typical model BERT, they could be further improved in two aspects: the relation-level knowledge could be further explored to improve model performance; and the setting of student attention head number could be more flexible to decrease inference time. Therefore, we are motivated to propose a novel knowledge distillation method MLKD-BERT to distill multi-level knowledge in teacher-student framework. Extensive experiments on GLUE benchmark and extractive question answering tasks demonstrate that our method outperforms state-of-the-art knowledge distillation methods on BERT. In addition, MLKD-BERT can flexibly set student attention head number, allowing for substantial inference time decrease with little performance drop.
• Abstract（参考訳）: 知識蒸留は事前訓練された言語モデル圧縮に有効な手法である。 既存の知識蒸留法は,最も典型的なBERTでは良好に機能するが,関係レベルの知識はモデル性能を改善するためにさらに検討され,学生の注意数の設定は推論時間を短縮するために柔軟である。 そこで我々は,教師・学生の枠組みで多段階の知識を蒸留する新しい知識蒸留手法MLKD-BERTを提案する。 GLUEベンチマークと抽出質問応答タスクの大規模な実験により,本手法がBERTの最先端知識蒸留法より優れていることが示された。 さらに、MLKD-BERTは、生徒の注意番号を柔軟に設定でき、性能低下を少なく抑えることができる。

関連論文リスト

• Don't Throw Away Data: Better Sequence Knowledge Distillation [60.60698363739434]
  本稿では,知識蒸留訓練において,最小ベイズリスク(MBR)の復号化をより厳密に行うことを目的とする。 英語からドイツ語,英語,日本語への翻訳実験では,強いベースライン法よりも一貫した改善が見られた。
  論文  参考訳（メタデータ） (2024-07-15T06:11:18Z)
• Teaching with Uncertainty: Unleashing the Potential of Knowledge Distillation in Object Detection [47.0507287491627]
  本稿では,物体検出のための知識の不確実性を考慮した特徴量に基づく蒸留パラダイムを提案する。 モンテカルロのドロップアウト手法を利用して,学生モデルの学習過程に知識の不確実性を導入する。 本手法は,複雑な構造や計算資源を必要とせずに,KDプロセス中に効果的に機能する。
  論文  参考訳（メタデータ） (2024-06-11T06:51:02Z)
• DistillCSE: Distilled Contrastive Learning for Sentence Embeddings [32.6620719893457]
  本稿では,知識蒸留による自己学習パラダイムの下で,コントラスト学習を行うDistillCSEフレームワークを提案する。 DistillCSEの潜在的な利点は、自給自足機能である: ベースモデルを使用してさらなる監視信号を提供することで、知識蒸留を通じてより強力なモデルを学ぶことができる。 本稿では, 暗黙の正規化としてのグループ-Pシャッフル戦略と, 複数の教師コンポーネントのロジット平均化という, 知識蒸留の単純かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-10-20T13:45:59Z)
• AD-KD: Attribution-Driven Knowledge Distillation for Language Model Compression [26.474962405945316]
  本稿では,事前学習言語モデルを圧縮するための新しい帰属駆動型知識蒸留手法を提案する。 モデル推論と一般化の知識伝達を強化するため,教師のすべての潜在的判断に対する多視点帰属蒸留について検討する。
  論文  参考訳（メタデータ） (2023-05-17T07:40:12Z)
• Improved Knowledge Distillation for Pre-trained Language Models via Knowledge Selection [35.515135913846386]
  本稿では, 知識蒸留プロセスにおいて, 適切な知識を選択するためのアクター批判的アプローチを提案する。 GLUEデータセットによる実験結果から,本手法はいくつかの強い知識蒸留基準を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-02-01T13:40:19Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Annealing Knowledge Distillation [5.396407687999048]
  教師のソフトターゲットから得られる豊富な情報を段階的かつ効率的にフィードバックし、知識蒸留法(アニーリングKD)の改善を提案します。 本稿では,Anaaling-KD法の有効性を裏付ける理論的および実証的な証拠と実用的実験を含む。
  論文  参考訳（メタデータ） (2021-04-14T23:45:03Z)
• Distilling Dense Representations for Ranking using Tightly-Coupled Teachers [52.85472936277762]
  我々は最近提案された後期相互作用ColBERTモデルを改善するために知識蒸留を適用した。 ColBERT の表現型 MaxSim 演算子から知識を抽出し、関連度スコアを単純な点積に変換する。 提案手法はクエリ待ち時間を改善し,ColBERTの面倒なストレージ要件を大幅に削減する。
  論文  参考訳（メタデータ） (2020-10-22T02:26:01Z)
• Residual Knowledge Distillation [96.18815134719975]
  本研究は,アシスタント(A)を導入し,さらに知識を蒸留する残留知識蒸留(RKD)を提案する。 このように、S は T の特徴写像を模倣するように訓練され、A はそれらの間の残差を学習することでこの過程を支援する。 提案手法は,CIFAR-100 と ImageNet という,一般的な分類データセットにおいて魅力的な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-21T07:49:26Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。