論文の概要: Accelerating BERT Inference for Sequence Labeling via Early-Exit

• arxiv url: http://arxiv.org/abs/2105.13878v1
• Date: Fri, 28 May 2021 14:39:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-31 13:52:58.727327
• Title: Accelerating BERT Inference for Sequence Labeling via Early-Exit
• Title（参考訳）: early-exitによる配列ラベリングのbert推論の高速化
• Authors: Xiaonan Li, Yunfan Shao, Tianxiang Sun, Hang Yan, Xipeng Qiu, Xuanjing Huang
• Abstract要約: 我々は最近成功した早期退避機構を拡張し、シークエンスラベリングタスクに対するPTMの推論を高速化する。 また、異なる層で部分トークンを早期に退避させるトークンレベルの早期退避機構も提案する。 当社のアプローチでは,パフォーマンスの低下を最小限に抑えながら,最大66%～75%の推論コストを削減できる。
• 参考スコア（独自算出の注目度）: 65.7292767360083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Both performance and efficiency are crucial factors for sequence labeling tasks in many real-world scenarios. Although the pre-trained models (PTMs) have significantly improved the performance of various sequence labeling tasks, their computational cost is expensive. To alleviate this problem, we extend the recent successful early-exit mechanism to accelerate the inference of PTMs for sequence labeling tasks. However, existing early-exit mechanisms are specifically designed for sequence-level tasks, rather than sequence labeling. In this paper, we first propose a simple extension of sentence-level early-exit for sequence labeling tasks. To further reduce the computational cost, we also propose a token-level early-exit mechanism that allows partial tokens to exit early at different layers. Considering the local dependency inherent in sequence labeling, we employed a window-based criterion to decide for a token whether or not to exit. The token-level early-exit brings the gap between training and inference, so we introduce an extra self-sampling fine-tuning stage to alleviate it. The extensive experiments on three popular sequence labeling tasks show that our approach can save up to 66%-75% inference cost with minimal performance degradation. Compared with competitive compressed models such as DistilBERT, our approach can achieve better performance under the same speed-up ratios of 2X, 3X, and 4X.
• Abstract（参考訳）: 多くの実世界のシナリオにおいて、性能と効率はシーケンスラベリングタスクにとって重要な要素である。 プリトレーニングモデル(ptm)は様々なシーケンスラベリングタスクの性能を大幅に向上させたが、計算コストは高価である。 この問題を軽減するため、最近成功した早期退避機構を拡張し、シーケンシャルラベリングタスクに対するPTMの推論を高速化する。 しかし、既存のearly-exitメカニズムはシーケンスラベリングではなく、シーケンスレベルのタスク用に特別に設計されている。 本稿ではまず,シーケンスラベリングタスクのための文レベル早期実行の簡単な拡張を提案する。 計算コストをさらに削減するため,異なる層で部分トークンを早期に退避させるトークンレベルの早期退避機構も提案する。 シーケンスラベリングに固有の局所的依存関係を考慮し、ウィンドウベースの基準を用いて、終了するか否かのトークンを決定する。 トークンレベルの早期退避は、トレーニングと推論の間にギャップをもたらします。 3つの一般的なシーケンスラベリングタスクに関する広範な実験は、我々の手法が性能劣化を最小限に抑えながら最大66%-75%の推論コストを節約できることを示している。 DistilBERTのような競合圧縮モデルと比較すると,2X,3X,4Xのスピードアップ比で高い性能が得られる。

関連論文リスト

• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• Label Delay in Online Continual Learning [77.05325581370893]
  しばしば見過ごされる重要な側面はラベルの遅延であり、遅くてコストのかかるアノテーションプロセスのために新しいデータがラベル付けされない可能性がある。 本稿では,データとラベルストリーム間のラベル遅延を,時間経過とともに明示的にモデル化した新しい連続学習フレームワークを提案する。 提案手法はラベル遅延係数に最も影響を受けていないことを示し、場合によっては非遅延の精度を回復させる。
  論文  参考訳（メタデータ） (2023-12-01T20:52:10Z)
• Unifying Token and Span Level Supervisions for Few-Shot Sequence Labeling [18.24907067631541]
  短いショットシーケンスラベリングは、少数のラベル付きサンプルに基づいて新しいクラスを特定することを目的としている。 本稿では,数ショットのシーケンスラベリングのためのCDAP(Consistent Dual Adaptive Prototypeal)ネットワークを提案する。 本モデルでは,3つのベンチマークデータセットに対して,最先端の新たな結果が得られる。
  論文  参考訳（メタデータ） (2023-07-16T04:50:52Z)
• SkipDecode: Autoregressive Skip Decoding with Batching and Caching for Efficient LLM Inference [17.947904697850433]
  バッチ推論とKeyValueキャッシュのためのトークンレベルの早期終了メソッドであるSkipDecodeを提案する。 これは、各シーケンス位置のバッチ内の各トークンに対して特異レベル出口を設定することで、以前の制約を克服する。 また、イグジットポイントの単調な減少を保証するため、前のトークンに対してKVキャッシュを再コンパイルする必要がなくなる。
  論文  参考訳（メタデータ） (2023-07-05T19:59:09Z)
• LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
  我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。 本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。 提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
  論文  参考訳（メタデータ） (2022-10-14T19:13:36Z)
• Modeling sequential annotations for sequence labeling with crowds [8.239028141030621]
  クラウドシーケンシャルアノテーションは、シーケンスラベリングのための大規模なデータセットを構築する上で、効率的でコスト効率のよい方法である。 群集を用いたシーケンスラベリングのための逐次アノテーションのモデル化(SA-SLC)を提案する。 提案手法は,クラウド・シーケンシャル・アノテーションから有効な基底トラス・ラベル・シーケンスを導出するために有効なラベル・シーケンス・推論(VLSE)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-20T02:51:23Z)
• Pyramid-BERT: Reducing Complexity via Successive Core-set based Token Selection [23.39962989492527]
  BERTのようなトランスフォーマーベースの言語モデルは、様々なNLPタスクで最先端を達成しているが、計算的に禁止されている。 本稿では,従来の使用法を,理論的な結果によって正当化されたemコアセットベースのトークン選択法で置き換えるピラミッド-BERTを提案する。 コアセットベースのトークン選択技術により、高価な事前トレーニングを回避でき、空間効率の良い微調整が可能となり、長いシーケンス長を扱うのに適している。
  論文  参考訳（メタデータ） (2022-03-27T19:52:01Z)
• Uncertainty-Aware Label Refinement for Sequence Labeling [47.67853514765981]
  長期ラベル依存性をモデル化する新しい2段階ラベルデコードフレームワークを提案する。 ベースモデルはまずドラフトラベルを予測し、次に新しい2ストリーム自己アテンションモデルはこれらのドラフト予測を洗練します。
  論文  参考訳（メタデータ） (2020-12-19T06:56:59Z)
• Semantic Label Smoothing for Sequence to Sequence Problems [54.758974840974425]
  そこで本研究では,対象シーケンスとn-gramの重なり合いが十分である,エンハンウェル上のスムーズな関連配列を生成する手法を提案する。 提案手法は, 異なるデータセット上での最先端技術よりも一貫した, 顕著な改善を示す。
  論文  参考訳（メタデータ） (2020-10-15T00:31:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。