論文の概要: Fast and Accurate FSA System Using ELBERT: An Efficient and Lightweight BERT

• arxiv url: http://arxiv.org/abs/2211.08842v1
• Date: Wed, 16 Nov 2022 11:43:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 15:05:16.830768
• Title: Fast and Accurate FSA System Using ELBERT: An Efficient and Lightweight BERT
• Title（参考訳）: ELBERTを用いた高速高精度FSAシステム:高効率軽量BERT
• Authors: Siyuan Lu, Chenchen Zhou, Keli Xie, Shiyi Liu, Jun Lin, and Zhongfeng Wang
• Abstract要約: 本稿では, 省エネ・軽量なBERT (ELBERT) と, 信頼性ウィンドウ(CWB) の初期出口機構を提案する。 ELBERTに基づいて,GPUプラットフォーム上でのテキスト処理を高速化する革新的な手法を開発した。 我々のFSAシステムは,この加速度法を用いて,1000テキスト/秒以上の処理速度を十分な精度で向上させることができる。
• 参考スコア（独自算出の注目度）: 14.413859580533133
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As an application of Natural Language Processing (NLP) techniques, financial sentiment analysis (FSA) has become an invaluable tool for investors. Its speed and accuracy can significantly impact the returns of trading strategies.With the development of deep learning and Transformer-based pre-trained models like BERT, the accuracy of FSA has been much improved, but these time-consuming big models will also slow down the computation. To boost the processing speed of the FSA system and ensure high precision, we first propose an efficient and lightweight BERT (ELBERT) along with a novel confidence-window-based (CWB) early exit mechanism. Based on ELBERT, an innovative method to accelerate text processing on the GPU platform is developed, solving the difficult problem of making the early exit mechanism work more effectively with a large input batch size. Afterward, a fast and high-accuracy FSA system is built. Experimental results show that the proposed CWB early exit mechanism achieves significantly higher accuracy than existing early exit methods on BERT under the same computation cost. Besides, our FSA system can boost the processing speed to over 1000 texts per second with sufficient accuracy by using this acceleration method, which is nearly twice as fast as the FastBERT. Hence, this system can enable modern trading systems to quickly and accurately process financial text data.
• Abstract（参考訳）: 自然言語処理(NLP)技術の応用として、金融感情分析(FSA)が投資家にとって貴重なツールとなっている。 BERTのようなディープラーニングとTransformerベースの事前学習モデルの開発により、FSAの精度は大幅に改善されているが、これらの時間を要する大きなモデルも計算を遅くする。 FSAシステムの処理速度を向上し、高精度を確保するため、我々はまず、新しい信頼ウィンドウベース(CWB)早期出口機構とともに、効率的で軽量なBERT(ELBERT)を提案する。 elbertに基づき、gpuプラットフォーム上でのテキスト処理を高速化する革新的な方法が開発され、入力バッチサイズが大きい場合に、アーリーエグジット機構をより効果的に動作させるという難題が解決される。 その後、高速かつ高精度なfsaシステムが構築される。 実験の結果,提案したCWB早期出口機構は同じ計算コストで既存のBERT早期出口法よりも精度が高いことがわかった。 さらに,本システムでは,高速ベルトの約2倍の高速化を実現することで,毎秒1,000テキスト以上の処理速度を十分な精度で向上させることができる。 これにより、現代のトレーディングシステムは金融テキストデータを迅速かつ正確に処理することができる。

関連論文リスト

• The Efficiency vs. Accuracy Trade-off: Optimizing RAG-Enhanced LLM Recommender Systems Using Multi-Head Early Exit [46.37267466656765]
  本稿では,Retrieval-Augmented Generation(RAG)と革新的なマルチヘッドアーリーエグジットアーキテクチャを組み合わせた最適化フレームワークを提案する。 我々の実験は、信頼性の高いレコメンデーション配信に必要な精度を犠牲にすることなく、このアーキテクチャがいかに効果的に時間を削減するかを実証している。
  論文  参考訳（メタデータ） (2025-01-04T03:26:46Z)
• Strengthening Fake News Detection: Leveraging SVM and Sophisticated Text Vectorization Techniques. Defying BERT? [0.0]
  本研究では,機械学習と自然言語処理,具体的にはSVM(Support Vector Machines)とBERTを用いて,偽ニュースを検出する。 実ニュースと偽ニュースを区別する上での有効性を評価するために, TF-IDF(Term Frequency Inverse Document Frequency), Word2Vec(Word2Vec), Bag of Words(BoW)の3つの異なるテキストベクトル化手法を用いる。
  論文  参考訳（メタデータ） (2024-11-19T18:15:46Z)
• Lookahead: An Inference Acceleration Framework for Large Language Model with Lossless Generation Accuracy [46.81745860690336]
  大規模言語モデル(LLM)は、質問応答、翻訳、テキスト要約、対話システムなど、様々なタスクで大きく進歩している。 本稿では,推論プロセスの高速化のための汎用フレームワークを提案する。 我々は、推論加速フレームワークの適用によって達成された顕著な改善を実証するために、広範囲な実験を行う。
  論文  参考訳（メタデータ） (2023-12-20T02:55:15Z)
• Efficient Uncertainty Estimation with Gaussian Process for Reliable Dialog Response Retrieval [31.32746943236811]
  BERTに基づく会話検索のための効率的な不確実性校正フレームワークGPF-BERTを提案する。 基本的なキャリブレーション法と比較して、GPF-BERTは3つのドメイン内のデータセットで最も低い経験的キャリブレーション誤差(ECE)を達成する。 時間消費に関しては、GPF-BERTは8$times$ speedupです。
  論文  参考訳（メタデータ） (2023-03-15T13:12:16Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
  BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。 提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
  論文  参考訳（メタデータ） (2022-03-12T09:46:13Z)
• Elbert: Fast Albert with Confidence-Window Based Early Exit [8.956309416589232]
  BERTのような大規模な事前訓練された言語モデルは、リソース制約やリアルタイムアプリケーションには適していない。 ELBERTは,提案した信頼ウィンドウに基づく早期出口機構により,ALBERTと比較して平均推定速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-07-01T02:02:39Z)
• EarlyBERT: Efficient BERT Training via Early-bird Lottery Tickets [106.79387235014379]
  EarlyBERTは、大規模言語モデルの事前学習と微調整の両方に適用できる一般的な計算効率のトレーニングアルゴリズムである。 BERTトレーニングの初期段階において、構造化された入賞チケットを最初に識別し、効率的なトレーニングに使用します。 EarlyBERTは、トレーニング時間を3545%短縮した標準BERTと同等のパフォーマンスを簡単に達成します。
  論文  参考訳（メタデータ） (2020-12-31T20:38:20Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。