論文の概要: Sentiment Analysis in Finance: From Transformers Back to eXplainable Lexicons (XLex)

• arxiv url: http://arxiv.org/abs/2306.03997v2
• Date: Sat, 2 Dec 2023 12:28:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 23:05:19.092523
• Title: Sentiment Analysis in Finance: From Transformers Back to eXplainable Lexicons (XLex)
• Title（参考訳）: 金融における感情分析:トランスフォーマーから説明可能なレキシコン(xlex)へ
• Authors: Maryan Rizinski, Hristijan Peshov, Kostadin Mishev, Milos Jovanovik, Dimitar Trajanov
• Abstract要約: 本稿では,レキシコン法とトランスフォーマーモデルの両方の利点を組み合わせた新しい手法を提案する。 我々は, 変圧器を用いた説明可能なレキシコンが, ベンチマークLoughran-McDonald (LM)レキシコンの語彙カバレッジを向上させることを実証した。 得られたレキシコンは、財務データセットのSAにおいて標準のLMレキシコンよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lexicon-based sentiment analysis (SA) in finance leverages specialized, manually annotated lexicons created by human experts to extract sentiment from financial texts. Although lexicon-based methods are simple to implement and fast to operate on textual data, they require considerable manual annotation efforts to create, maintain, and update the lexicons. These methods are also considered inferior to the deep learning-based approaches, such as transformer models, which have become dominant in various NLP tasks due to their remarkable performance. However, transformers require extensive data and computational resources for both training and testing. Additionally, they involve significant prediction times, making them unsuitable for real-time production environments or systems with limited processing capabilities. In this paper, we introduce a novel methodology named eXplainable Lexicons (XLex) that combines the advantages of both lexicon-based methods and transformer models. We propose an approach that utilizes transformers and SHapley Additive exPlanations (SHAP) for explainability to learn financial lexicons. Our study presents four main contributions. Firstly, we demonstrate that transformer-aided explainable lexicons can enhance the vocabulary coverage of the benchmark Loughran-McDonald (LM) lexicon, reducing the human involvement in annotating, maintaining, and updating the lexicons. Secondly, we show that the resulting lexicon outperforms the standard LM lexicon in SA of financial datasets. Thirdly, we illustrate that the lexicon-based approach is significantly more efficient in terms of model speed and size compared to transformers. Lastly, the XLex approach is inherently more interpretable than transformer models as lexicon models rely on predefined rules, allowing for better insights into the results of SA and making the XLex approach a viable tool for financial decision-making.
• Abstract（参考訳）: 金融におけるレキシコンに基づく感情分析(sa)は、金融テキストから感情を抽出するために、人間の専門家によって作成された専門的で手作業によるレキシコンを活用する。 辞書ベースのメソッドは簡単に実装でき、テキストデータで操作できるが、辞書の作成、保守、更新にはかなりの手作業による注記が必要である。 これらの手法は、様々なNLPタスクにおいて顕著な性能のために支配的になったトランスフォーマーモデルなど、深層学習に基づくアプローチよりも劣っていると考えられている。 しかし、トランスフォーマーはトレーニングとテストの両方に広範なデータと計算資源を必要とする。 さらに、予測時間が大きくなり、リアルタイム生産環境や限られた処理能力を持つシステムには適さない。 本稿では,レキシコン法とトランスフォーマーモデルの双方の利点を組み合わせた説明可能なレキシコン (xlex) という新しい手法を提案する。 本稿では、トランスとSHAP(SHapley Additive ExPlanations)を用いて、金融レキシコンの学習方法を説明する手法を提案する。 本研究の主な貢献は4つある。 まず, トランスフォーマタによる説明可能なレキシコンは, ベンチマークloughran-mcdonald (lm)レキシコンの語彙範囲を増大させ, 注釈, 維持, 更新における人間の関与を低減できることを実証する。 次に、結果のレキシコンが、金融データセットのsaの標準lmレキシコンを上回っていることを示す。 第3に、レキシコンに基づくアプローチは、トランスに比べてモデル速度とサイズにおいてはるかに効率的であることを示す。 最後に、xlexアプローチは本質的にトランスフォーマーモデルよりも解釈可能である。レキシコンモデルが事前定義されたルールに依存しているため、saの結果に対するより良い洞察と、xlexアプローチを財務意思決定に有効なツールにすることができるようになる。

関連論文リスト

• Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
  2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。 例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
  論文  参考訳（メタデータ） (2024-10-03T21:21:02Z)
• Scaling Up Summarization: Leveraging Large Language Models for Long Text Extractive Summarization [0.27624021966289597]
  本稿では,Large Language Models (LLM) を利用した抽出要約フレームワークであるEYEGLAXSを紹介する。 EYEGLAXSは、事実的および文法的整合性を保証するために抽出的な要約に焦点を当てている。 このシステムはPubMedやArXivといった有名なデータセットに新しいパフォーマンスベンチマークを設定する。
  論文  参考訳（メタデータ） (2024-08-28T13:52:19Z)
• Monetizing Currency Pair Sentiments through LLM Explainability [2.572906392867547]
  大規模言語モデル(LLM)は、今日の組織のほとんどすべての領域において重要な役割を担います。 我々は,感情分析の妥当性を説明するために,LLMをポストホックモデルに依存しないツールとして活用する新しい手法を提案する。 本手法を金融分野に適用し,公開ニュースフィードデータと市場価格を融合した通貨対対価の予測を行う。
  論文  参考訳（メタデータ） (2024-07-29T11:58:54Z)
• An LLM-Enhanced Adversarial Editing System for Lexical Simplification [10.519804917399744]
  Lexical Simplificationは、語彙レベルでのテキストの簡略化を目的としている。 既存のメソッドはアノテーション付きデータに大きく依存している。 並列コーパスのない新しいLS法を提案する。
  論文  参考訳（メタデータ） (2024-02-22T17:04:30Z)
• Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [54.682106515794864]
  オフライン強化学習(RL)は、事前コンパイルされたデータセットを使用して、ほぼ最適ポリシーを見つけることを目的としている。 本稿では、オフラインRLに事前学習言語モデル(LM)を使用するための決定変換器に基づく一般的なフレームワークである、$textbfMo$tion Control用の$textbfLanguage Models(textbfLaMo$)を紹介する。 経験的な結果から、$textbfLaMo$はスパース・リワードタスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-31T16:24:17Z)
• Multilingual Controllable Transformer-Based Lexical Simplification [4.718531520078843]
  本稿では,制御可能なトランスフォーマーを用いたLexical Simplification(LS)システムであるmTLSを提案する。 この研究の新規性は、複雑な単語のより単純な代替法を学ぶために、事前訓練されたマスキング言語モデルから抽出された言語固有の接頭辞、制御トークン、および候補を使用することにある。
  論文  参考訳（メタデータ） (2023-07-05T08:48:19Z)
• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• The Closeness of In-Context Learning and Weight Shifting for Softmax Regression [42.95984289657388]
  ソフトマックス回帰定式化に基づく文脈内学習について検討する。 基本回帰タスクに対して自己注意のみの変換器を訓練する場合、勾配差と変換器で学習したモデルに非常に類似性があることが示される。
  論文  参考訳（メタデータ） (2023-04-26T04:33:41Z)
• Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models [51.3422222472898]
  ニュース見出しを用いて,ChatGPTのような大規模言語モデル(LLM)の株価変動を予測する能力について述べる。 我々は,情報容量制約,過小反応,制限対アビタージュ,LLMを組み込んだ理論モデルを構築した。
  論文  参考訳（メタデータ） (2023-04-15T19:22:37Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
  本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。 我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
  論文  参考訳（メタデータ） (2022-04-15T03:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。