論文の概要: Fine-tuning of lightweight large language models for sentiment classification on heterogeneous financial textual data

• arxiv url: http://arxiv.org/abs/2512.00946v1
• Date: Sun, 30 Nov 2025 15:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.512089
• Title: Fine-tuning of lightweight large language models for sentiment classification on heterogeneous financial textual data
• Title（参考訳）: 不均一な財務文書データに基づく感情分類のための軽量大言語モデルの微調整
• Authors: Alvaro Paredes Amorin, Andre Python, Christoph Weisser,
• Abstract要約: 財務データセットから感情理解を一般化する軽量なオープンソースの大言語モデル(LLM)について検討する。 LLM、特にQwen3 8BとLlama3 8Bは、利用可能なトレーニングデータのわずか5%を使用しても、ほとんどのシナリオで最高のパフォーマンスを発揮する。
• 参考スコア（独自算出の注目度）: 0.8921166277011348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) play an increasingly important role in finan- cial markets analysis by capturing signals from complex and heterogeneous textual data sources, such as tweets, news articles, reports, and microblogs. However, their performance is dependent on large computational resources and proprietary datasets, which are costly, restricted, and therefore inacces- sible to many researchers and practitioners. To reflect realistic situations we investigate the ability of lightweight open-source LLMs - smaller and publicly available models designed to operate with limited computational resources - to generalize sentiment understanding from financial datasets of varying sizes, sources, formats, and languages. We compare the benchmark finance natural language processing (NLP) model, FinBERT, and three open-source lightweight LLMs, DeepSeek-LLM 7B, Llama3 8B Instruct, and Qwen3 8B on five publicly available datasets: FinancialPhraseBank, Financial Question Answering, Gold News Sentiment, Twitter Sentiment and Chinese Finance Sentiment. We find that LLMs, specially Qwen3 8B and Llama3 8B, perform best in most scenarios, even from using only 5% of the available training data. These results hold in zero-shot and few-shot learning scenarios. Our findings indicate that lightweight, open-source large language models (LLMs) consti- tute a cost-effective option, as they can achieve competitive performance on heterogeneous textual data even when trained on only a limited subset of the extensive annotated corpora that are typically deemed necessary.
• Abstract（参考訳）: 大型言語モデル (LLM) は、ツイート、ニュース記事、レポート、マイクロブログなどの複雑で異質なテキストデータソースからの信号をキャプチャすることで、金融・土木市場分析においてますます重要な役割を担っている。 しかし、それらの性能は膨大な計算資源とプロプライエタリなデータセットに依存しており、コストがかかり、制限されているため、多くの研究者や実践者にとって不正確である。 現実的な状況を反映するために、我々は、様々なサイズ、ソース、フォーマット、言語からなる財務データセットから感情理解を一般化するために、軽量なオープンソースLLM - 限られた計算資源で運用するために設計された、より小さく、一般に利用可能なモデル - を調査する。 我々は、FinancialPhraseBank、Financial Question Answering、Gold News Sentiment、Twitter Sentiment、China Finance Sentimentの5つの公開データセットに対して、NLPモデル、FinBERT、DeepSeek-LLM 7B、Llama3 8B Instruct、Qwen3 8Bの3つのオープンソース軽量LCMを比較した。 LLM、特にQwen3 8BとLlama3 8Bは、利用可能なトレーニングデータのわずか5%を使用しても、ほとんどのシナリオで最高のパフォーマンスを発揮する。 これらの結果は、ゼロショットと少数ショットの学習シナリオに当てはまる。 本研究は, 軽量でオープンソースの大規模言語モデル (LLMs) が, 一般的に必要とされている広範囲な注釈付きコーパスの限られたサブセットでのみ訓練しても, 不均一なテキストデータ上での競争性能を達成できるため, 費用対効果の高い選択肢であることを示した。

関連論文リスト

• MultiFinBen: Benchmarking Large Language Models for Multilingual and Multimodal Financial Application [118.63802040274999]
  MultiFinBen は、現実的な財務状況下で LLM を評価するための、最初のエキスパートアノテーション付き多言語(5言語)およびマルチモーダルベンチマークである。 財務理由付けテストは、書類やニュースと統合された言語間のエビデンスと、スキャンされた文書から構造化されたテキストを抽出する財務OCRである。 21個のLLMを評価したところ、GPT-4oのようなフロンティアのマルチモーダルモデルでさえ、視力とオーディオが強く、多言語設定では急激に低下するが、全体の46.01%しか達成していないことが示されている。
  論文  参考訳（メタデータ） (2025-06-16T22:01:49Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• Tele-FLM Technical Report [96.19923831660266]
  52Bのオープンソース多言語大言語モデルであるTele-FLM(別名FLM-2)を紹介する。 安定的で効率的な事前訓練のパラダイムと、事実判断能力の強化が特徴である。 これは、Llama2-70BやDeepSeek-67Bのようなより大きな事前学習FLOPを含む強力なオープンソースモデルに匹敵する。
  論文  参考訳（メタデータ） (2024-04-25T14:34:47Z)
• TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
  本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。 本手法は,様々なベンチマーク上での局所モデル性能を向上させる。 また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2024-03-15T14:36:38Z)
• Optimizing LLM Queries in Relational Data Analytics Workloads [50.95919232839785]
  バッチデータ分析は、Large Language Models(LLMs)の急成長するアプリケーションである LLMは、分類、エンティティ抽出、翻訳などの幅広い自然言語タスクを、大規模なデータセット上で実行可能にする。 本稿では,LLMコールによるリレーショナルデータ解析処理のコストを大幅に削減できる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-09T07:01:44Z)
• FinGPT: Democratizing Internet-scale Data for Financial Large Language Models [35.83244096535722]
  大型言語モデル (LLM) は、人間に似たテキストの理解と生成に顕著な熟練性を示した。 ファイナンシャル・ジェネレーティブ・プレトレーニング・トランスフォーマー(FinGPT)は、インターネット上の34の多様なソースからリアルタイムの財務データの収集とキュレーションを自動化する。 FinGPTは、FinLLMを民主化し、イノベーションを刺激し、オープンファイナンスにおける新たな機会を開放することを目指している。
  論文  参考訳（メタデータ） (2023-07-19T22:43:57Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• BloombergGPT: A Large Language Model for Finance [42.73350054822628]
  我々は、幅広い財務データに基づいて訓練された500億のパラメータ言語モデルであるBloombergGPTを提示する。 Bloombergの広範囲なデータソースに基づいて,汎用データセットから345億のトークンを付加した,363億のトークンデータセットを構築しました。 我々の混合データセットトレーニングは、財務タスクにおける既存のモデルをかなりのマージンで上回るモデルにつながります。
  論文  参考訳（メタデータ） (2023-03-30T17:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。