論文の概要: FastBERT: a Self-distilling BERT with Adaptive Inference Time

• arxiv url: http://arxiv.org/abs/2004.02178v2
• Date: Wed, 29 Apr 2020 15:46:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 12:43:49.518352
• Title: FastBERT: a Self-distilling BERT with Adaptive Inference Time
• Title（参考訳）: FastBERT: 適応推論時間付き自己蒸留式BERT
• Authors: Weijie Liu, Peng Zhou, Zhe Zhao, Zhiruo Wang, Haotang Deng, Qi Ju
• Abstract要約: 我々のモデルは、12の英語と中国語のデータセットで有望な結果を得る。 スピードアップしきい値が異なる場合、BERTの1倍から12倍の範囲でスピードアップすることができる。
• 参考スコア（独自算出の注目度）: 14.207970599841218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models like BERT have proven to be highly performant. However, they are often computationally expensive in many practical scenarios, for such heavy models can hardly be readily implemented with limited resources. To improve their efficiency with an assured model performance, we propose a novel speed-tunable FastBERT with adaptive inference time. The speed at inference can be flexibly adjusted under varying demands, while redundant calculation of samples is avoided. Moreover, this model adopts a unique self-distillation mechanism at fine-tuning, further enabling a greater computational efficacy with minimal loss in performance. Our model achieves promising results in twelve English and Chinese datasets. It is able to speed up by a wide range from 1 to 12 times than BERT if given different speedup thresholds to make a speed-performance tradeoff.
• Abstract（参考訳）: BERTのような事前訓練された言語モデルは高性能であることが証明されている。 しかし、そのような重いモデルは限られた資源で容易に実装できないため、多くの実践的なシナリオでは計算コストがかかることが多い。 モデル性能が保証された場合の効率を向上させるため,適応的な推論時間を持つ高速可変FastBERTを提案する。 予測時の速度は様々な要求で柔軟に調整でき、サンプルの冗長な計算は避けられる。 さらに、このモデルは微調整時に独自の自己蒸留機構を採用し、性能の損失を最小限に抑えた計算効率を向上させる。 我々のモデルは12の英語と中国語のデータセットで有望な結果を得る。 速度性能のトレードオフを行うために異なるスピードアップしきい値が与えられた場合、BERTの1倍から12倍の範囲でスピードアップすることができる。

関連論文リスト

• Sensi-BERT: Towards Sensitivity Driven Fine-Tuning for Parameter-Efficient BERT [6.029590006321152]
  本稿では、下流タスクのための感度駆動効率の良いBERTモデルの微調整であるSensi-BERTを提案する。 実験の結果,MNLI,QQP,QNLI,SST-2,SQuADなどの下流タスクに対するSensi-BERTの有効性が示された。
  論文  参考訳（メタデータ） (2023-07-14T17:24:15Z)
• Improving Non-autoregressive Translation Quality with Pretrained Language Model, Embedding Distillation and Upsampling Strategy for CTC [51.34222224728979]
  本稿では,非自己回帰翻訳(NAT)モデルの翻訳品質を向上させるための一連の革新的な技術を紹介する。 我々は,NATモデルを効果的に訓練するために,CTCの損失を抑えたPMLM(Pretrained Multilingual Language Models)を提案する。 自動回帰モデルと比較して16.35倍の速度向上を示した。
  論文  参考訳（メタデータ） (2023-06-10T05:24:29Z)
• Dynamic Transformers Provide a False Sense of Efficiency [75.39702559746533]
  マルチエグジットモデルは、計算の節約を早期出口から得るため、効率と精度をトレードオフする。 本稿では,マルチエグジットモデルの効率を抑えるために特別に最適化された,シンプルで効果的なアタック・フレームワークであるITAを提案する。 GLUEベンチマークの実験により、Pameは様々なマルチエクイットモデルの効率向上を平均80%削減できることが示された。
  論文  参考訳（メタデータ） (2023-05-20T16:41:48Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• TangoBERT: Reducing Inference Cost by using Cascaded Architecture [9.496399437260678]
  ケースケードモデルアーキテクチャであるTangoBERTについて述べる。 第2階層モデルを適用するかどうかの決定は、第1階層モデルによって生成される信頼スコアに基づいて行われる。 我々はTangoBERT推論CPUの高速化を4つのテキスト分類GLUEタスクと1つの読解タスクで報告する。
  論文  参考訳（メタデータ） (2022-04-13T09:45:08Z)
• DACT-BERT: Differentiable Adaptive Computation Time for an Efficient BERT Inference [3.375478015832455]
  DACT-BERT(DACT-BERT) は, BERT のようなモデルに対して, 微分可能な適応計算時間戦略である。 DACT-BERTはBERTの正規処理パイプラインに適応的な計算機構を追加し、推論時に実行する必要があるTransformerブロックの数を制御する。 我々の実験は、ベースラインと比較して、我々のアプローチが減らされた計算体制に優れており、他の制約の少ない手法と競合することを示した。
  論文  参考訳（メタデータ） (2021-09-24T04:45:55Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)
• BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
  本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。 提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
  論文  参考訳（メタデータ） (2020-06-07T13:38:32Z)
• DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference [69.93692147242284]
  BERTのような大規模事前訓練型言語モデルは、NLPアプリケーションに大幅な改善をもたらした。 本稿では, BERT推論を高速化するために, 単純だが効果的な手法であるDeeBERTを提案する。 実験の結果、DeeBERTはモデル品質の低下を最小限に抑えながら、最大40%の推論時間を節約できることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T17:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。