論文の概要: Sentiment Analysis in Finance: From Transformers Back to eXplainable
Lexicons (XLex)
- arxiv url: http://arxiv.org/abs/2306.03997v2
- Date: Sat, 2 Dec 2023 12:28:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 23:05:19.092523
- Title: Sentiment Analysis in Finance: From Transformers Back to eXplainable
Lexicons (XLex)
- Title(参考訳): 金融における感情分析:トランスフォーマーから説明可能なレキシコン(xlex)へ
- Authors: Maryan Rizinski, Hristijan Peshov, Kostadin Mishev, Milos Jovanovik,
Dimitar Trajanov
- Abstract要約: 本稿では,レキシコン法とトランスフォーマーモデルの両方の利点を組み合わせた新しい手法を提案する。
我々は, 変圧器を用いた説明可能なレキシコンが, ベンチマークLoughran-McDonald (LM)レキシコンの語彙カバレッジを向上させることを実証した。
得られたレキシコンは、財務データセットのSAにおいて標準のLMレキシコンよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lexicon-based sentiment analysis (SA) in finance leverages specialized,
manually annotated lexicons created by human experts to extract sentiment from
financial texts. Although lexicon-based methods are simple to implement and
fast to operate on textual data, they require considerable manual annotation
efforts to create, maintain, and update the lexicons. These methods are also
considered inferior to the deep learning-based approaches, such as transformer
models, which have become dominant in various NLP tasks due to their remarkable
performance. However, transformers require extensive data and computational
resources for both training and testing. Additionally, they involve significant
prediction times, making them unsuitable for real-time production environments
or systems with limited processing capabilities. In this paper, we introduce a
novel methodology named eXplainable Lexicons (XLex) that combines the
advantages of both lexicon-based methods and transformer models. We propose an
approach that utilizes transformers and SHapley Additive exPlanations (SHAP)
for explainability to learn financial lexicons. Our study presents four main
contributions. Firstly, we demonstrate that transformer-aided explainable
lexicons can enhance the vocabulary coverage of the benchmark Loughran-McDonald
(LM) lexicon, reducing the human involvement in annotating, maintaining, and
updating the lexicons. Secondly, we show that the resulting lexicon outperforms
the standard LM lexicon in SA of financial datasets. Thirdly, we illustrate
that the lexicon-based approach is significantly more efficient in terms of
model speed and size compared to transformers. Lastly, the XLex approach is
inherently more interpretable than transformer models as lexicon models rely on
predefined rules, allowing for better insights into the results of SA and
making the XLex approach a viable tool for financial decision-making.
- Abstract(参考訳): 金融におけるレキシコンに基づく感情分析(sa)は、金融テキストから感情を抽出するために、人間の専門家によって作成された専門的で手作業によるレキシコンを活用する。
辞書ベースのメソッドは簡単に実装でき、テキストデータで操作できるが、辞書の作成、保守、更新にはかなりの手作業による注記が必要である。
これらの手法は、様々なNLPタスクにおいて顕著な性能のために支配的になったトランスフォーマーモデルなど、深層学習に基づくアプローチよりも劣っていると考えられている。
しかし、トランスフォーマーはトレーニングとテストの両方に広範なデータと計算資源を必要とする。
さらに、予測時間が大きくなり、リアルタイム生産環境や限られた処理能力を持つシステムには適さない。
本稿では,レキシコン法とトランスフォーマーモデルの双方の利点を組み合わせた説明可能なレキシコン (xlex) という新しい手法を提案する。
本稿では、トランスとSHAP(SHapley Additive ExPlanations)を用いて、金融レキシコンの学習方法を説明する手法を提案する。
本研究の主な貢献は4つある。
まず, トランスフォーマタによる説明可能なレキシコンは, ベンチマークloughran-mcdonald (lm)レキシコンの語彙範囲を増大させ, 注釈, 維持, 更新における人間の関与を低減できることを実証する。
次に、結果のレキシコンが、金融データセットのsaの標準lmレキシコンを上回っていることを示す。
第3に、レキシコンに基づくアプローチは、トランスに比べてモデル速度とサイズにおいてはるかに効率的であることを示す。
最後に、xlexアプローチは本質的にトランスフォーマーモデルよりも解釈可能である。レキシコンモデルが事前定義されたルールに依存しているため、saの結果に対するより良い洞察と、xlexアプローチを財務意思決定に有効なツールにすることができるようになる。
関連論文リスト
- FinLlama: Financial Sentiment Classification for Algorithmic Trading Applications [2.2661367844871854]
大規模言語モデル(LLM)はこの文脈で使用することができるが、財務に特化せず、重要な計算資源を必要とする傾向がある。
我々はLlama 2 7Bの基礎モデルに基づく新しいアプローチを導入し,その生成特性と包括的言語操作の利点を享受する。
これは、Llama2 7Bモデルを教師付き財務感情分析データの一部に微調整することで達成される。
論文 参考訳(メタデータ) (2024-03-18T22:11:00Z) - An LLM-Enhanced Adversarial Editing System for Lexical Simplification [10.519804917399744]
Lexical Simplificationは、語彙レベルでのテキストの簡略化を目的としている。
既存のメソッドはアノテーション付きデータに大きく依存している。
並列コーパスのない新しいLS法を提案する。
論文 参考訳(メタデータ) (2024-02-22T17:04:30Z) - Unleashing the Power of Pre-trained Language Models for Offline
Reinforcement Learning [54.682106515794864]
オフライン強化学習(RL)は、事前コンパイルされたデータセットを使用して、ほぼ最適ポリシーを見つけることを目的としている。
本稿では、オフラインRLに事前学習言語モデル(LM)を使用するための決定変換器に基づく一般的なフレームワークである、$textbfMo$tion Control用の$textbfLanguage Models(textbfLaMo$)を紹介する。
経験的な結果から、$textbfLaMo$はスパース・リワードタスクで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-10-31T16:24:17Z) - Towards reducing hallucination in extracting information from financial
reports using Large Language Models [1.2289361708127877]
本稿では,Large Language Models (LLMs) が業績報告書から効率的にかつ迅速に情報を抽出する方法を示す。
我々は,Q&Aシステム評価のための様々な客観的指標に基づいて,提案手法を使わずに,様々なLCMの結果を評価する。
論文 参考訳(メタデータ) (2023-10-16T18:45:38Z) - Towards Effective Disambiguation for Machine Translation with Large
Language Models [65.80775710657672]
我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。
実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
論文 参考訳(メタデータ) (2023-09-20T22:22:52Z) - Multilingual Controllable Transformer-Based Lexical Simplification [4.718531520078843]
本稿では,制御可能なトランスフォーマーを用いたLexical Simplification(LS)システムであるmTLSを提案する。
この研究の新規性は、複雑な単語のより単純な代替法を学ぶために、事前訓練されたマスキング言語モデルから抽出された言語固有の接頭辞、制御トークン、および候補を使用することにある。
論文 参考訳(メタデータ) (2023-07-05T08:48:19Z) - Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
本稿では,意思決定問題における変換器の文脈内学習能力について検討する。
本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。
事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
論文 参考訳(メタデータ) (2023-06-26T17:58:50Z) - The Closeness of In-Context Learning and Weight Shifting for Softmax
Regression [42.95984289657388]
ソフトマックス回帰定式化に基づく文脈内学習について検討する。
基本回帰タスクに対して自己注意のみの変換器を訓練する場合、勾配差と変換器で学習したモデルに非常に類似性があることが示される。
論文 参考訳(メタデータ) (2023-04-26T04:33:41Z) - Confident Adaptive Language Modeling [95.45272377648773]
CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。
ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2022-07-14T17:00:19Z) - XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems
to Improve Language Understanding [73.24847320536813]
本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。
我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
論文 参考訳(メタデータ) (2022-04-15T03:44:00Z) - Is Supervised Syntactic Parsing Beneficial for Language Understanding?
An Empirical Investigation [71.70562795158625]
従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。
近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。
本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
論文 参考訳(メタデータ) (2020-08-15T21:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。