Fugu-MT 論文翻訳(概要): BERT Loses Patience: Fast and Robust Inference with Early Exit

論文の概要: BERT Loses Patience: Fast and Robust Inference with Early Exit

arxiv url: http://arxiv.org/abs/2006.04152v3
Date: Thu, 22 Oct 2020 06:37:36 GMT
ステータス: 処理完了
システム内更新日: 2022-11-24 07:20:30.646477
Title: BERT Loses Patience: Fast and Robust Inference with Early Exit
Title（参考訳）: BERT:早期退社による高速でロバストな推論
Authors: Wangchunshu Zhou and Canwen Xu and Tao Ge and Julian McAuley and Ke Xu and Furu Wei
Abstract要約: 本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
参考スコア（独自算出の注目度）: 91.26199404912019
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose Patience-based Early Exit, a straightforward yet effective inference method that can be used as a plug-and-play technique to simultaneously improve the efficiency and robustness of a pretrained language model (PLM). To achieve this, our approach couples an internal-classifier with each layer of a PLM and dynamically stops inference when the intermediate predictions of the internal classifiers remain unchanged for a pre-defined number of steps. Our approach improves inference efficiency as it allows the model to make a prediction with fewer layers. Meanwhile, experimental results with an ALBERT model show that our method can improve the accuracy and robustness of the model by preventing it from overthinking and exploiting multiple classifiers for prediction, yielding a better accuracy-speed trade-off compared to existing early exit methods.
Abstract（参考訳）: 本稿では,プレトレーニング言語モデル(PLM)の効率性とロバスト性を同時に向上するプラグイン・アンド・プレイ手法として,簡単かつ効果的な推論手法であるPatience-based Early Exitを提案する。そこで本手法では,PLMの各層に内部分類器を結合させ,事前定義されたステップ数に対して内部分類器の中間予測が変化しない場合の推論を動的に停止する。我々のアプローチは、モデルを少ない層で予測できるため、推論効率を向上させる。一方,albertモデルを用いた実験により,複数の分類器の過度な思考と予測の活用を防止し,既存手法と比較して精度と頑健性を向上させることができた。

関連論文リスト

Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
論文参考訳（メタデータ） (2024-08-21T06:48:38Z)
DE$^3$-BERT: Distance-Enhanced Early Exiting for BERT based on Prototypical Networks [43.967626080432275]
BERT(DE$3$-BERT)のための新しい遠隔拡張早期実行フレームワークを提案する。我々は,古典的エントロピーに基づく地域情報と距離に基づくグローバル情報とを補完するハイブリッドエグジット戦略を実装した。 GLUEベンチマークの実験では、De$3$-BERTが最先端モデルより一貫して優れていることが示されている。
論文参考訳（メタデータ） (2024-02-03T15:51:17Z)
Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
論文参考訳（メタデータ） (2023-10-06T06:29:06Z)
Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文参考訳（メタデータ） (2023-07-26T08:25:46Z)
Dynamic Transformers Provide a False Sense of Efficiency [75.39702559746533]
マルチエグジットモデルは、計算の節約を早期出口から得るため、効率と精度をトレードオフする。本稿では,マルチエグジットモデルの効率を抑えるために特別に最適化された,シンプルで効果的なアタック・フレームワークであるITAを提案する。 GLUEベンチマークの実験により、Pameは様々なマルチエクイットモデルの効率向上を平均80%削減できることが示された。
論文参考訳（メタデータ） (2023-05-20T16:41:48Z)
Consistent Accelerated Inference via Confident Adaptive Transformers [29.034390810078172]
我々は,大規模で高価な多層トランスの推論を確実に高速化する新しい手法を開発した。また,本モデルとの確固たる一貫性を高い信頼度で保証しつつ,計算効率を向上させる。このアプローチの有効性を4つの分類および回帰タスクで実証する。
論文参考訳（メタデータ） (2021-04-18T10:22:28Z)
Accelerating Pre-trained Language Models via Calibrated Cascade [37.00619245086208]
我々は,動的早期退避の動作機構を解析し,推論速度と性能のトレードオフを十分に達成できないことを確認した。本稿では,キャスケード方式で適切なサイズの完全モデルを動的に選択するCascadeBERTを提案する。
論文参考訳（メタデータ） (2020-12-29T09:43:50Z)
Joint Stochastic Approximation and Its Application to Learning Discrete Latent Variable Models [19.07718284287928]
推定モデルに対する信頼度勾配を得るのが困難であることや、間接的にターゲットのログを最適化することの欠点を優雅に解決できることが示される。本稿では,対象の対数類似度を直接最大化し,後部モデルと推論モデルとの包摂的ばらつきを同時に最小化することを提案する。結果の学習アルゴリズムは、ジョイントSA(JSA)と呼ばれる。
論文参考訳（メタデータ） (2020-05-28T13:50:08Z)
Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文参考訳（メタデータ） (2020-05-21T16:08:38Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。