論文の概要: Enhancing Financial Sentiment Analysis via Retrieval Augmented Large
Language Models
- arxiv url: http://arxiv.org/abs/2310.04027v2
- Date: Sat, 4 Nov 2023 13:44:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 20:23:17.579843
- Title: Enhancing Financial Sentiment Analysis via Retrieval Augmented Large
Language Models
- Title(参考訳): 検索型大規模言語モデルによる財務感性分析の強化
- Authors: Boyu Zhang, Hongyang Yang, Tianyu Zhou, Ali Babar, Xiao-Yang Liu
- Abstract要約: 大規模な言語モデル (LLM) は様々なNLPタスクにおいて優れた性能を示した。
本稿では,金融感情分析のためのLLMフレームワークを提案する。
提案手法の精度は15%から48%向上し,F1得点を得た。
- 参考スコア(独自算出の注目度): 11.154814189699735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Financial sentiment analysis is critical for valuation and investment
decision-making. Traditional NLP models, however, are limited by their
parameter size and the scope of their training datasets, which hampers their
generalization capabilities and effectiveness in this field. Recently, Large
Language Models (LLMs) pre-trained on extensive corpora have demonstrated
superior performance across various NLP tasks due to their commendable
zero-shot abilities. Yet, directly applying LLMs to financial sentiment
analysis presents challenges: The discrepancy between the pre-training
objective of LLMs and predicting the sentiment label can compromise their
predictive performance. Furthermore, the succinct nature of financial news,
often devoid of sufficient context, can significantly diminish the reliability
of LLMs' sentiment analysis. To address these challenges, we introduce a
retrieval-augmented LLMs framework for financial sentiment analysis. This
framework includes an instruction-tuned LLMs module, which ensures LLMs behave
as predictors of sentiment labels, and a retrieval-augmentation module which
retrieves additional context from reliable external sources. Benchmarked
against traditional models and LLMs like ChatGPT and LLaMA, our approach
achieves 15\% to 48\% performance gain in accuracy and F1 score.
- Abstract(参考訳): 金融センチメント分析は、バリュエーションと投資決定に不可欠である。
しかし、従来のNLPモデルは、パラメータサイズとトレーニングデータセットの範囲によって制限されており、この分野での一般化能力と有効性を損なう。
近年,広範コーパスで事前学習したLarge Language Models (LLMs) は,圧縮可能なゼロショット能力のため,様々なNLPタスクにおいて優れた性能を示した。
LLMの事前学習目標と感情ラベルの予測との相違は、彼らの予測性能を損なう可能性がある。
さらに、十分な文脈を欠いた財務ニュースの簡潔な性質は、LLMの感情分析の信頼性を著しく低下させる可能性がある。
これらの課題に対処するため,金融感情分析のためのLLMフレームワークを提案する。
このフレームワークは、LLMが感情ラベルの予測子として振る舞うことを保証する命令調整LDMモジュールと、信頼できる外部ソースから追加コンテキストを取得する検索拡張モジュールを含む。
従来のモデルとChatGPTやLLaMAなどのLLMを比較し,精度とF1得点の15~48倍の性能向上を実現した。
関連論文リスト
- Are Large Language Models Rational Investors? [9.629632578239974]
大規模言語モデル(LLM)は、複雑な市場データとトレンドを解釈するための広範な知識基盤を活用するために、金融分析において徐々に採用されている。
しかし、金融分野におけるそれらの応用は、内在的バイアス(すなわちリスク参照バイアス)と表面的な市場の複雑さの把握によって挑戦される。
本研究では, LLMの経済的合理性を評価する新しい枠組みであるFinancial Bias Indicators(FBI)を紹介する。
論文 参考訳(メタデータ) (2024-02-20T04:26:08Z) - The FinBen: An Holistic Financial Benchmark for Large Language Models [75.09474986283394]
FinBenは、金融分野におけるLLMの能力を徹底的に評価するために設計された、初めての包括的なオープンソース評価ベンチマークである。
FinBenは、23の財務タスクにわたる35のデータセットを含み、Cattell-Horn-Carroll理論にインスパイアされた3つの難易度に分類されている。
GPT-4, ChatGPT, そして最新のGeminiを含む15の代表的なLCMを評価した結果, 金融分野におけるその強みと限界についての知見が得られた。
論文 参考訳(メタデータ) (2024-02-20T02:16:16Z) - Large Language Model Adaptation for Financial Sentiment Analysis [2.0499240875882]
一般言語モデルは、金融に特化されたタスクでは不足する傾向にある。
1.5B未満のパラメータを持つ2つの基礎モデルは、幅広い戦略を用いて適応されている。
小型LLMは大規模モデルに匹敵する性能を有しつつ,パラメータやデータの観点からも効率がよいことを示す。
論文 参考訳(メタデータ) (2024-01-26T11:04:01Z) - Benchmarking LLMs via Uncertainty Quantification [95.67653501674995]
我々は,Large Language Models (LLM) のための新しいベンチマーク手法を導入する。
本試験では,5つの自然言語処理タスクにまたがる8つのLLMについて検討した。
予測精度と予測不確実性の両方を考慮して,不確実性を考慮した評価指標UAccを導入する。
論文 参考訳(メタデータ) (2024-01-23T14:29:17Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs
for Financial Sentiment Analysis [0.0]
我々は、財務分野のデータセット上で、コンテキスト内学習と微調整LDMの2つのアプローチを採用する。
以上の結果から, 微調整された小型LCMは, 最先端の微調整LDMに匹敵する性能を達成できることが示唆された。
文脈内学習におけるショット数が増加すると、財務領域の感情分析のパフォーマンスが向上することはない。
論文 参考訳(メタデータ) (2023-12-14T08:13:28Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳(メタデータ) (2023-10-11T14:18:03Z) - Large Language Models in Finance: A Survey [13.374900734801168]
大規模言語モデル(LLM)は、金融における人工知能応用の新しい可能性を開いた。
大規模言語モデル(LLM)の最近の進歩は、金融における人工知能応用の新しい可能性を開いた。
論文 参考訳(メタデータ) (2023-09-28T06:04:04Z) - Instruct-FinGPT: Financial Sentiment Analysis by Instruction Tuning of
General-Purpose Large Language Models [18.212210748797332]
本稿では,これらの問題に対処する簡易かつ効果的な命令チューニング手法を提案する。
実験では, 最先端の教師付き感情分析モデルより優れていた。
論文 参考訳(メタデータ) (2023-06-22T03:56:38Z) - PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark
for Finance [63.51545277822702]
PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。
我々はLLaMAを細調整してFinMAを提案する。
我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
論文 参考訳(メタデータ) (2023-06-08T14:20:29Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳(メタデータ) (2023-05-24T10:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。