論文の概要: Pre-trained Large Language Models for Financial Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2401.05215v1
- Date: Wed, 10 Jan 2024 15:27:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-11 14:18:02.988760
- Title: Pre-trained Large Language Models for Financial Sentiment Analysis
- Title(参考訳): 金融知覚分析のための事前学習型大規模言語モデル
- Authors: Wei Luo, Dihong Gong
- Abstract要約: オープンソースのLlama2-7Bモデル(2023)を教師付き微調整(SFT)技術で適用する。
我々の手法は従来の最先端のアルゴリズムよりも大幅に優れている。
- 参考スコア(独自算出の注目度): 10.683185786541596
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Financial sentiment analysis refers to classifying financial text contents
into sentiment categories (e.g. positive, negative, and neutral). In this
paper, we focus on the classification of financial news title, which is a
challenging task due to a lack of large amount of training samples. To overcome
this difficulty, we propose to adapt the pretrained large language models
(LLMs) [1, 2, 3] to solve this problem. The LLMs, which are trained from huge
amount of text corpora,have an advantage in text understanding and can be
effectively adapted to domain-specific task while requiring very few amount of
training samples. In particular, we adapt the open-source Llama2-7B model
(2023) with the supervised fine-tuning (SFT) technique [4]. Experimental
evaluation shows that even with the 7B model (which is relatively small for
LLMs), our approach significantly outperforms the previous state-of-the-art
algorithms.
- Abstract(参考訳): 金融感情分析 (financial sentiment analysis) とは、金融テキストの内容を感情カテゴリー(ポジティブ、ネガティブ、中立など)に分類することを指す。
本稿では,大量のトレーニングサンプルが不足していることから,金融ニュースタイトルの分類に焦点をあてる。
この問題を解決するために,事前訓練された大規模言語モデル (LLM) [1, 2, 3] を適応させることを提案する。
大量のテキストコーパスからトレーニングされたLSMは、テキスト理解の優位性があり、ごく少数のトレーニングサンプルを必要としながら、ドメイン固有のタスクに効果的に適用できる。
特に、オープンソースのLlama2-7Bモデル(2023)を教師付き微調整(SFT)技術で適用する [4]。
実験評価の結果,7bモデル(llmsでは比較的小さい)においても,従来の最先端アルゴリズムをかなり上回っていることがわかった。
関連論文リスト
- Learning to Generate Explainable Stock Predictions using Self-Reflective
Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。
反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。
我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文 参考訳(メタデータ) (2024-02-06T03:18:58Z) - Large Language Model Adaptation for Financial Sentiment Analysis [2.0499240875882]
一般言語モデルは、金融に特化されたタスクでは不足する傾向にある。
1.5B未満のパラメータを持つ2つの基礎モデルは、幅広い戦略を用いて適応されている。
小型LLMは大規模モデルに匹敵する性能を有しつつ,パラメータやデータの観点からも効率がよいことを示す。
論文 参考訳(メタデータ) (2024-01-26T11:04:01Z) - Adapting Large Language Models for Document-Level Machine Translation [49.74879186939818]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて大きな進歩を遂げている。
近年の研究では、中程度のLLMはタスク固有の微調整の後、より大きなLLMよりも優れていることが示されている。
論文 参考訳(メタデータ) (2024-01-12T09:29:13Z) - A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs
for Financial Sentiment Analysis [0.0]
我々は、財務分野のデータセット上で、コンテキスト内学習と微調整LDMの2つのアプローチを採用する。
以上の結果から, 微調整された小型LCMは, 最先端の微調整LDMに匹敵する性能を達成できることが示唆された。
文脈内学習におけるショット数が増加すると、財務領域の感情分析のパフォーマンスが向上することはない。
論文 参考訳(メタデータ) (2023-12-14T08:13:28Z) - Enhancing Financial Sentiment Analysis via Retrieval Augmented Large
Language Models [11.154814189699735]
大規模な言語モデル (LLM) は様々なNLPタスクにおいて優れた性能を示した。
本稿では,金融感情分析のためのLLMフレームワークを提案する。
提案手法の精度は15%から48%向上し,F1得点を得た。
論文 参考訳(メタデータ) (2023-10-06T05:40:23Z) - Fair Few-shot Learning with Auxiliary Sets [53.30014767684218]
多くの機械学習(ML)タスクでは、ラベル付きデータサンプルしか収集できないため、フェアネスのパフォーマンスが低下する可能性がある。
本稿では,限定的なトレーニングサンプルを用いたフェアネス認識学習課題をemphfair few-shot Learning問題として定義する。
そこで我々は,学習した知識をメタテストタスクに一般化し,様々なメタトレーニングタスクに公平な知識を蓄積する新しいフレームワークを考案した。
論文 参考訳(メタデータ) (2023-08-28T06:31:37Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳(メタデータ) (2023-07-24T17:44:58Z) - Instruct-FinGPT: Financial Sentiment Analysis by Instruction Tuning of
General-Purpose Large Language Models [18.212210748797332]
本稿では,これらの問題に対処する簡易かつ効果的な命令チューニング手法を提案する。
実験では, 最先端の教師付き感情分析モデルより優れていた。
論文 参考訳(メタデータ) (2023-06-22T03:56:38Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳(メタデータ) (2023-05-24T10:45:25Z) - Model-Agnostic Meta-Learning for Natural Language Understanding Tasks in
Finance [1.863067234952186]
低リソースの財務NLUタスクにおけるモデルに依存しないメタラーニングアルゴリズム(MAML)について検討する。
実験結果に基づき,本モデルによる最先端の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-06T02:24:48Z) - Improving Pre-trained Language Model Fine-tuning with Noise Stability
Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。
具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。
提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-12T04:42:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。