論文の概要: Elbert: Fast Albert with Confidence-Window Based Early Exit

• arxiv url: http://arxiv.org/abs/2107.00175v1
• Date: Thu, 1 Jul 2021 02:02:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-02 13:49:09.046279
• Title: Elbert: Fast Albert with Confidence-Window Based Early Exit
• Title（参考訳）: Elbert: 信頼できるウィンドウベースのアーリーエグジットを備えた高速アルバート
• Authors: Keli Xie, Siyuan Lu, Meiqi Wang, Zhongfeng Wang
• Abstract要約: BERTのような大規模な事前訓練された言語モデルは、リソース制約やリアルタイムアプリケーションには適していない。 ELBERTは,提案した信頼ウィンドウに基づく早期出口機構により,ALBERTと比較して平均推定速度を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 8.956309416589232
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the great success in Natural Language Processing (NLP) area, large pre-trained language models like BERT are not well-suited for resource-constrained or real-time applications owing to the large number of parameters and slow inference speed. Recently, compressing and accelerating BERT have become important topics. By incorporating a parameter-sharing strategy, ALBERT greatly reduces the number of parameters while achieving competitive performance. Nevertheless, ALBERT still suffers from a long inference time. In this work, we propose the ELBERT, which significantly improves the average inference speed compared to ALBERT due to the proposed confidence-window based early exit mechanism, without introducing additional parameters or extra training overhead. Experimental results show that ELBERT achieves an adaptive inference speedup varying from 2$\times$ to 10$\times$ with negligible accuracy degradation compared to ALBERT on various datasets. Besides, ELBERT achieves higher accuracy than existing early exit methods used for accelerating BERT under the same computation cost. Furthermore, to understand the principle of the early exit mechanism, we also visualize the decision-making process of it in ELBERT.
• Abstract（参考訳）: 自然言語処理(NLP)分野で大きな成功を収めたにもかかわらず、BERTのような事前訓練済みの大規模な言語モデルは、大量のパラメータと遅い推論速度のため、リソース制約やリアルタイムアプリケーションには適していない。 近年,BERTの圧縮・加速が重要視されている。 パラメータ共有戦略を取り入れることで、ALBERTは競合性能を確保しながらパラメータ数を大幅に削減する。 それでも、ALBERTは長い推測時間に悩まされている。 そこで本研究では,albertと比較して平均推定速度を大幅に向上させるelbertを提案する。 実験結果から, ELBERT は 2$\times$ から 10$\times$ に変化し, 様々なデータセットで ALBERT と比較して精度が低下することがわかった。 さらに、ELBERTは、同じ計算コストでBERTを加速する既存の早期出口法よりも高い精度を達成する。 さらに,早期退出機構の原理を理解するため,エルバートにおける意思決定過程を可視化する。

関連論文リスト

• CEEBERT: Cross-Domain Inference in Early Exit BERT [5.402030962296633]
  CeeBERTは、中間層で観測されたドメイン固有の信頼度から最適な閾値を学習する。 CeeBERTは、BERT/ALBERTモデルを最小限の精度で、$2times$ -3.5times$でスピードアップすることができる。
  論文  参考訳（メタデータ） (2024-05-23T20:36:10Z)
• oBERTa: Improving Sparse Transfer Learning via improved initialization, distillation, and pruning regimes [82.99830498937729]
  oBERTaは自然言語処理のための使いやすい言語モデルのセットです。 NLPの実践者はモデル圧縮の専門知識なしで3.8倍から24.3倍の高速モデルを得ることができる。 代表的な7つのNLPタスクにおけるoBERTaの利用について検討する。
  論文  参考訳（メタデータ） (2023-03-30T01:37:19Z)
• SmartBERT: A Promotion of Dynamic Early Exiting Mechanism for Accelerating BERT Inference [18.456002674399244]
  本稿では,SmartBERT と呼ばれる BERT 推論のための動的早期退避と層スキップを併用した新しい動的早期退避法を提案する。 SmartBERTは、いくつかのレイヤを適応的にスキップし、終了するかどうかを適応的に選択できる。 GLUEベンチマークの8つの分類データセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-03-16T12:44:16Z)
• HuBERT-EE: Early Exiting HuBERT for Efficient Speech Recognition [11.243855639847514]
  我々は、モデルが推論を動的に停止することを可能にするASRの早期終了スキーム、すなわちHuBERT-EEを導入する。 LibriSpeechの実験結果によると、HuBERT-EEは性能とレイテンシのトレードオフを同時にバランスしながら、HuBERTの推論を加速できる。
  論文  参考訳（メタデータ） (2022-04-13T12:11:44Z)
• BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
  BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。 提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
  論文  参考訳（メタデータ） (2022-03-12T09:46:13Z)
• TR-BERT: Dynamic Token Reduction for Accelerating BERT Inference [54.791572981834435]
  既存の訓練済み言語モデル(PLM)は推論において計算コストがかかることが多い。 TR-BERT と呼ばれる PLM の推論を高速化する動的トークン削減手法を提案する。 TR-BERTは、トークン削減プロセスを多段階のトークン選択問題として定式化し、強化学習を通じて選択戦略を自動的に学習する。
  論文  参考訳（メタデータ） (2021-05-25T02:28:51Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)
• BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
  本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。 提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
  論文  参考訳（メタデータ） (2020-06-07T13:38:32Z)
• DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference [69.93692147242284]
  BERTのような大規模事前訓練型言語モデルは、NLPアプリケーションに大幅な改善をもたらした。 本稿では, BERT推論を高速化するために, 単純だが効果的な手法であるDeeBERTを提案する。 実験の結果、DeeBERTはモデル品質の低下を最小限に抑えながら、最大40%の推論時間を節約できることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T17:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。