論文の概要: Improving Knowledge Distillation for BERT Models: Loss Functions, Mapping Methods, and Weight Tuning

• arxiv url: http://arxiv.org/abs/2308.13958v1
• Date: Sat, 26 Aug 2023 20:59:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 17:57:14.639155
• Title: Improving Knowledge Distillation for BERT Models: Loss Functions, Mapping Methods, and Weight Tuning
• Title（参考訳）: BERTモデルの知識蒸留の改善:損失関数、マッピング方法、軽量チューニング
• Authors: Apoorv Dankar, Adeem Jassani, Kartikaeya Kumar
• Abstract要約: 本研究は, BERTモデル圧縮のための知識蒸留について検討し, 適用する。 本研究では, 損失関数を用いた実験, トランスフォーマー層マッピング法, 注意の重み付けと表現損失の調整など, 知識蒸留を改善するための様々な手法について検討する。 この研究の目的は、知識蒸留の効率性と効率を改善し、自然言語処理タスクのより効率的で正確なモデルの開発を可能にすることである。
• 参考スコア（独自算出の注目度）: 1.1510009152620668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of large transformer-based models such as BERT, GPT, and T5 has led to significant advancements in natural language processing. However, these models are computationally expensive, necessitating model compression techniques that reduce their size and complexity while maintaining accuracy. This project investigates and applies knowledge distillation for BERT model compression, specifically focusing on the TinyBERT student model. We explore various techniques to improve knowledge distillation, including experimentation with loss functions, transformer layer mapping methods, and tuning the weights of attention and representation loss and evaluate our proposed techniques on a selection of downstream tasks from the GLUE benchmark. The goal of this work is to improve the efficiency and effectiveness of knowledge distillation, enabling the development of more efficient and accurate models for a range of natural language processing tasks.
• Abstract（参考訳）: BERT、GPT、T5のような大きなトランスフォーマーベースのモデルの使用は、自然言語処理に大きな進歩をもたらした。 しかし、これらのモデルは計算コストが高く、精度を維持しながらサイズと複雑さを減少させるモデル圧縮技術が必要となる。 本研究は,TinyBERT学生モデルに着目したBERTモデル圧縮のための知識蒸留について検討・適用する。 我々は,損失関数の実験,トランスフォーマー層マッピング法,注目度と表現損失の重み付けの調整など,知識蒸留を改善するための様々な手法を探索し,GLUEベンチマークから下流タスクの選択について評価した。 この研究の目的は、知識蒸留の効率性と効率を改善し、自然言語処理タスクのより効率的で正確なモデルの開発を可能にすることである。

関連論文リスト

• LORTSAR: Low-Rank Transformer for Skeleton-based Action Recognition [4.375744277719009]
  LORTSARは2つの主要なトランスフォーマーベースモデル、"Hyperformer"と"STEP-CATFormer"に適用される。 本手法は, 認識精度の劣化や性能向上などにより, モデルパラメータの数を大幅に削減することができる。 これは、SVDと圧縮後の微調整を組み合わせることでモデル効率が向上し、人間の行動認識におけるより持続的で軽量で高性能な技術への道が開けることを確認する。
  論文  参考訳（メタデータ） (2024-07-19T20:19:41Z)
• AdaKD: Dynamic Knowledge Distillation of ASR models using Adaptive Loss Weighting [5.818420448447701]
  適応的知識蒸留(Adaptive Knowledge Distillation, Adaptive Knowledge Distillation)は, カリキュラム学習にインスパイアされた新しい手法であり, 事例レベルでの損失を適応的に評価する。 提案手法は,任意のタスク固有および蒸留目的に対して適用可能なプラグアンドプレイパラダイムに従っている。
  論文  参考訳（メタデータ） (2024-05-11T15:06:24Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Normalized Feature Distillation for Semantic Segmentation [6.882655287146012]
  正規化特徴蒸留(NFD)と呼ばれる簡易かつ効果的な特徴蒸留法を提案する。 提案手法は,都市景観,VOC 2012,ADE20Kデータセットのセマンティックセマンティックセマンティックセグメンテーションのための,最先端の蒸留結果を実現する。
  論文  参考訳（メタデータ） (2022-07-12T01:54:25Z)
• Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation [55.34995029082051]
  本稿では,データスカース領域BERT知識蒸留のための拡張学習法を提案する。 提案手法が4つの異なるタスクにおける最先端のベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2021-01-20T13:07:39Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)
• Autoregressive Knowledge Distillation through Imitation Learning [70.12862707908769]
  我々は,知識蒸留における模倣学習の観点から駆動される自己回帰モデルに対する圧縮手法を開発した。 本手法は,シーケンスレベルの知識蒸留など,他の蒸留アルゴリズムより一貫して優れている。 また,本手法を訓練した学生は,スクラッチからトレーニングした生徒よりも1.4～4.8BLEU/ROUGEポイント高く,教師モデルと比較して推論速度を最大14倍に向上させた。
  論文  参考訳（メタデータ） (2020-09-15T17:43:02Z)
• LadaBERT: Lightweight Adaptation of BERT through Hybrid Model Compression [21.03685890385275]
  BERTは、大きなコーパスによって事前訓練された最先端の言語表現モデルである。 BERTはメモリ集約的であり、ユーザ要求の満足のいくレイテンシにつながる。 本稿では,異なるモデル圧縮手法の利点を組み合わせたLadaBERTというハイブリッドソリューションを提案する。
  論文  参考訳（メタデータ） (2020-04-08T17:18:56Z)
• Residual Knowledge Distillation [96.18815134719975]
  本研究は,アシスタント(A)を導入し,さらに知識を蒸留する残留知識蒸留(RKD)を提案する。 このように、S は T の特徴写像を模倣するように訓練され、A はそれらの間の残差を学習することでこの過程を支援する。 提案手法は,CIFAR-100 と ImageNet という,一般的な分類データセットにおいて魅力的な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-21T07:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。