論文の概要: Fast and Accurate FSA System Using ELBERT: An Efficient and Lightweight
BERT
- arxiv url: http://arxiv.org/abs/2211.08842v1
- Date: Wed, 16 Nov 2022 11:43:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 15:05:16.830768
- Title: Fast and Accurate FSA System Using ELBERT: An Efficient and Lightweight
BERT
- Title(参考訳): ELBERTを用いた高速高精度FSAシステム:高効率軽量BERT
- Authors: Siyuan Lu, Chenchen Zhou, Keli Xie, Shiyi Liu, Jun Lin, and Zhongfeng
Wang
- Abstract要約: 本稿では, 省エネ・軽量なBERT (ELBERT) と, 信頼性ウィンドウ(CWB) の初期出口機構を提案する。
ELBERTに基づいて,GPUプラットフォーム上でのテキスト処理を高速化する革新的な手法を開発した。
我々のFSAシステムは,この加速度法を用いて,1000テキスト/秒以上の処理速度を十分な精度で向上させることができる。
- 参考スコア(独自算出の注目度): 14.413859580533133
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As an application of Natural Language Processing (NLP) techniques, financial
sentiment analysis (FSA) has become an invaluable tool for investors. Its speed
and accuracy can significantly impact the returns of trading strategies.With
the development of deep learning and Transformer-based pre-trained models like
BERT, the accuracy of FSA has been much improved, but these time-consuming big
models will also slow down the computation. To boost the processing speed of
the FSA system and ensure high precision, we first propose an efficient and
lightweight BERT (ELBERT) along with a novel confidence-window-based (CWB)
early exit mechanism. Based on ELBERT, an innovative method to accelerate text
processing on the GPU platform is developed, solving the difficult problem of
making the early exit mechanism work more effectively with a large input batch
size. Afterward, a fast and high-accuracy FSA system is built. Experimental
results show that the proposed CWB early exit mechanism achieves significantly
higher accuracy than existing early exit methods on BERT under the same
computation cost. Besides, our FSA system can boost the processing speed to
over 1000 texts per second with sufficient accuracy by using this acceleration
method, which is nearly twice as fast as the FastBERT. Hence, this system can
enable modern trading systems to quickly and accurately process financial text
data.
- Abstract(参考訳): 自然言語処理(NLP)技術の応用として、金融感情分析(FSA)が投資家にとって貴重なツールとなっている。
BERTのようなディープラーニングとTransformerベースの事前学習モデルの開発により、FSAの精度は大幅に改善されているが、これらの時間を要する大きなモデルも計算を遅くする。
FSAシステムの処理速度を向上し、高精度を確保するため、我々はまず、新しい信頼ウィンドウベース(CWB)早期出口機構とともに、効率的で軽量なBERT(ELBERT)を提案する。
elbertに基づき、gpuプラットフォーム上でのテキスト処理を高速化する革新的な方法が開発され、入力バッチサイズが大きい場合に、アーリーエグジット機構をより効果的に動作させるという難題が解決される。
その後、高速かつ高精度なfsaシステムが構築される。
実験の結果,提案したCWB早期出口機構は同じ計算コストで既存のBERT早期出口法よりも精度が高いことがわかった。
さらに,本システムでは,高速ベルトの約2倍の高速化を実現することで,毎秒1,000テキスト以上の処理速度を十分な精度で向上させることができる。
これにより、現代のトレーディングシステムは金融テキストデータを迅速かつ正確に処理することができる。
関連論文リスト
- Lookahead: An Inference Acceleration Framework for Large Language Model
with Lossless Generation Accuracy [42.27171890669346]
本稿では,推論処理を高速化する汎用フレームワークを提案し,RAGシステムの高速化とコスト削減を実現した。
我々は,複数のブランチを同時に生成できるtextitTrie-based Retrieval (TR) プロセスを提案する。
各ブランチに対して、最も長い正しいサブシーケンスを最終出力として識別するために、textitVerification and Accept(VA)プロセスが実行される。
論文 参考訳(メタデータ) (2023-12-20T02:55:15Z) - Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。
本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文 参考訳(メタデータ) (2023-06-27T05:43:47Z) - Efficient Uncertainty Estimation with Gaussian Process for Reliable
Dialog Response Retrieval [31.32746943236811]
BERTに基づく会話検索のための効率的な不確実性校正フレームワークGPF-BERTを提案する。
基本的なキャリブレーション法と比較して、GPF-BERTは3つのドメイン内のデータセットで最も低い経験的キャリブレーション誤差(ECE)を達成する。
時間消費に関しては、GPF-BERTは8$times$ speedupです。
論文 参考訳(メタデータ) (2023-03-15T13:12:16Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳(メタデータ) (2022-03-23T06:24:31Z) - BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。
提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
論文 参考訳(メタデータ) (2022-03-12T09:46:13Z) - Boosting Fast Adversarial Training with Learnable Adversarial
Initialization [79.90495058040537]
対人訓練(AT)は、対人訓練の例を活用することにより、モデルロバスト性を改善するのに有効であることが示されている。
トレーニング効率を向上させるため,高速AT法では1回だけ勾配を計算することにより高速勾配符号法(FGSM)が採用されている。
論文 参考訳(メタデータ) (2021-10-11T05:37:00Z) - Elbert: Fast Albert with Confidence-Window Based Early Exit [8.956309416589232]
BERTのような大規模な事前訓練された言語モデルは、リソース制約やリアルタイムアプリケーションには適していない。
ELBERTは,提案した信頼ウィンドウに基づく早期出口機構により,ALBERTと比較して平均推定速度を大幅に向上させる。
論文 参考訳(メタデータ) (2021-07-01T02:02:39Z) - EarlyBERT: Efficient BERT Training via Early-bird Lottery Tickets [106.79387235014379]
EarlyBERTは、大規模言語モデルの事前学習と微調整の両方に適用できる一般的な計算効率のトレーニングアルゴリズムである。
BERTトレーニングの初期段階において、構造化された入賞チケットを最初に識別し、効率的なトレーニングに使用します。
EarlyBERTは、トレーニング時間を3545%短縮した標準BERTと同等のパフォーマンスを簡単に達成します。
論文 参考訳(メタデータ) (2020-12-31T20:38:20Z) - Financial ticket intelligent recognition system based on deep learning [4.606100785248409]
このシステムは194種類のファイナンシャルチケットを認識でき、自動反復最適化機構を備えている。
システムの平均認識精度は97.07%で、1回のチケットの平均走行時間は175.67msである。
論文 参考訳(メタデータ) (2020-10-29T05:07:40Z) - TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。
GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
論文 参考訳(メタデータ) (2020-09-27T10:17:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。