論文の概要: BEBERT: Efficient and robust binary ensemble BERT

• arxiv url: http://arxiv.org/abs/2210.15976v1
• Date: Fri, 28 Oct 2022 08:15:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 16:07:32.008812
• Title: BEBERT: Efficient and robust binary ensemble BERT
• Title（参考訳）: BEBERT: 効率的で堅牢なバイナリアンサンブルBERT
• Authors: Jiayi Tian, Chao Fang, Haonan Wang and Zhongfeng Wang
• Abstract要約: 事前訓練されたBERTモデルのバイナリ化はこの問題を軽減することができるが、完全精度のモデルに比べて精度が大幅に低下する。 精度ギャップを埋めるために,効率よく頑健なバイナリアンサンブルBERT(BEBERT)を提案する。
• 参考スコア（独自算出の注目度）: 12.109371576500928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained BERT models have achieved impressive accuracy on natural language processing (NLP) tasks. However, their excessive amount of parameters hinders them from efficient deployment on edge devices. Binarization of the BERT models can significantly alleviate this issue but comes with a severe accuracy drop compared with their full-precision counterparts. In this paper, we propose an efficient and robust binary ensemble BERT (BEBERT) to bridge the accuracy gap. To the best of our knowledge, this is the first work employing ensemble techniques on binary BERTs, yielding BEBERT, which achieves superior accuracy while retaining computational efficiency. Furthermore, we remove the knowledge distillation procedures during ensemble to speed up the training process without compromising accuracy. Experimental results on the GLUE benchmark show that the proposed BEBERT significantly outperforms the existing binary BERT models in accuracy and robustness with a 2x speedup on training time. Moreover, our BEBERT has only a negligible accuracy loss of 0.3% compared to the full-precision baseline while saving 15x and 13x in FLOPs and model size, respectively. In addition, BEBERT also outperforms other compressed BERTs in accuracy by up to 6.7%.
• Abstract（参考訳）: 事前訓練されたBERTモデルは、自然言語処理(NLP)タスクにおいて顕著な精度を達成した。 しかし、その過剰なパラメータは、エッジデバイスへの効率的なデプロイを妨げる。 BERTモデルのバイナリ化はこの問題を著しく軽減するが、完全精度のモデルに比べて精度が大幅に低下する。 本稿では,精度のギャップを埋めるために,効率的で堅牢なバイナリアンサンブルBERT(BEBERT)を提案する。 我々の知る限りでは、これはバイナリBERTのアンサンブル技術を利用した最初の作品であり、計算効率を維持しながら精度の高いBEBERTが得られる。 さらに,アンサンブル中の知識蒸留処理を除去し,精度を損なうことなくトレーニングプロセスを高速化する。 GLUEベンチマークによる実験結果から,提案したBEBERTは既存のバイナリBERTモデルよりも精度と堅牢性が高く,トレーニング時間の2倍の高速化を実現していることがわかった。 さらに, FLOPの15xと13xを, モデルサイズでそれぞれ保存しながら, 完全精度ベースラインに比べて0.3%の補正精度しか得られなかった。 さらに、BEBERTは圧縮されたBERTの精度を最大6.7%向上させる。

関連論文リスト

• oBERTa: Improving Sparse Transfer Learning via improved initialization, distillation, and pruning regimes [82.99830498937729]
  oBERTaは自然言語処理のための使いやすい言語モデルのセットです。 NLPの実践者はモデル圧縮の専門知識なしで3.8倍から24.3倍の高速モデルを得ることができる。 代表的な7つのNLPタスクにおけるoBERTaの利用について検討する。
  論文  参考訳（メタデータ） (2023-03-30T01:37:19Z)
• Efficient Uncertainty Estimation with Gaussian Process for Reliable Dialog Response Retrieval [31.32746943236811]
  BERTに基づく会話検索のための効率的な不確実性校正フレームワークGPF-BERTを提案する。 基本的なキャリブレーション法と比較して、GPF-BERTは3つのドメイン内のデータセットで最も低い経験的キャリブレーション誤差(ECE)を達成する。 時間消費に関しては、GPF-BERTは8$times$ speedupです。
  論文  参考訳（メタデータ） (2023-03-15T13:12:16Z)
• BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
  BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。 提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
  論文  参考訳（メタデータ） (2022-03-12T09:46:13Z)
• BinaryBERT: Pushing the Limit of BERT Quantization [74.65543496761553]
  本稿では、BERT量子化を重み二項化の限界まで押し上げるBinaryBERTを提案する。 複雑で不規則な損失環境のため,バイナリBERTは3次学習よりも直接訓練が難しいことが判明した。 実験結果から、BinaryBERT は完全精度 BERT ベースと比較して無視できる性能低下を示した。
  論文  参考訳（メタデータ） (2020-12-31T16:34:54Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)
• DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
  2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。 これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
  論文  参考訳（メタデータ） (2020-06-05T19:54:34Z)
• DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference [69.93692147242284]
  BERTのような大規模事前訓練型言語モデルは、NLPアプリケーションに大幅な改善をもたらした。 本稿では, BERT推論を高速化するために, 単純だが効果的な手法であるDeeBERTを提案する。 実験の結果、DeeBERTはモデル品質の低下を最小限に抑えながら、最大40%の推論時間を節約できることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T17:58:05Z)
• PoWER-BERT: Accelerating BERT Inference via Progressive Word-vector Elimination [4.965114253725414]
  我々は,人気のあるBERTモデルの推論時間を改善するため,PoWER-BERTと呼ばれる新しい手法を開発した。 ALBERTを用いた場合,提案手法の精度は最大6.8倍に低下し,精度は1%低下した。
  論文  参考訳（メタデータ） (2020-01-24T11:36:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。