論文の概要: From Financial Sentiment Classification to Return Predictability: A QLoRA Benchmark of Large Language Models
- arxiv url: http://arxiv.org/abs/2608.04200v1
- Date: Tue, 04 Aug 2026 19:57:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.621687
- Title: From Financial Sentiment Classification to Return Predictability: A QLoRA Benchmark of Large Language Models
- Title（参考訳）: 財務感覚分類から予測可能性への転換:大規模言語モデルのQLoRAベンチマーク
- Abstract要約: 5つの財務テキストデータセットから3クラスを統一したベンチマークを構築した。
TF-IDF Naive Bayes,off-the-the-shelf FinBERT,Financial-RoBERTaエンコーダを比較した。
一時分離した2019 Benzingaサンプルの経済妥当性を評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Financial sentiment classifiers are commonly evaluated against human labels, but strong linguistic performance does not necessarily imply economically useful return predictability. This study separates these questions through two experiments. First, we construct a unified three-class benchmark from five financial text datasets and compare TF--IDF Naive Bayes, off-the-shelf FinBERT and Financial-RoBERTa encoders, zero-shot Qwen2.5-7B, and QLoRA-adapted Qwen2.5-7B, LLaMA3-8B, and Mistral-7B models. Mistral-7B achieves the best test accuracy (0.8840) and macro-F1 (0.8771), while QLoRA raises Qwen2.5's macro-F1 from 0.7274 to 0.8615. An inverse-frequency class-weighted loss does not improve Qwen2.5. Second, we evaluate economic validity on a temporally separate 2019 Benzinga sample containing 10,637 unique headlines and 13,115 headline--stock observations for a fixed S\&P~100 universe. Model probabilities are converted into continuous sentiment scores, aggregated by stock and signal date, and aligned with next-session returns over one-, two-, three-, and five-day horizons. All seven downstream models produce positive but small mean rank information coefficients at the one-day horizon; the largest is 0.0143 for FinBERT. None of the 28 model--horizon tests remains significant after Newey--West inference and false-discovery-rate correction. Portfolio results likewise fail to establish a robust advantage for the best-performing classifiers. The findings show that QLoRA is effective for financial sentiment adaptation, while also documenting a clear gap between classification accuracy and tradable cross-sectional signals.
- Abstract（参考訳）: 金融感情分類器は、一般的に人間のラベルに対して評価されるが、強い言語性能は必ずしも経済的に有用なリターン予測可能性を意味するものではない。
この研究は2つの実験を通してこれらの疑問を分離する。
まず,5つのファイナンシャルテキストデータセットから統一された3クラスベンチマークを構築し,TF-IDF Naive Bayes,オフザシェルFiinBERT,Financial-RoBERTaエンコーダ,ゼロショットQwen2.5-7B,QLoRA適応Qwen2.5-7B,LLaMA3-8B,Mistral-7Bモデルを比較した。
Mistral-7Bは最高のテスト精度(0.8840)とマクロF1(0.8771)を達成し、QLoRAはQwen2.5のマクロF1を0.7274から0.8615に引き上げる。
逆周波数のクラス重み付き損失はQwen2.5を改善しない。
第2に、2019年ベンジンガのサンプルに、固定されたS&P~100宇宙の10,637個のユニークな見出しと13,115個のヘッドライン-ストック観測を含む経済効果を評価した。
モデル確率は連続的な感情スコアに変換され、株価と信号の日付で集計され、1日、2日、3日、5日の地平線上で次のセッションのリターンに対応する。
7つの下流モデルは全て、1日の地平線で正だが小さな平均ランク情報係数を生成し、最大のものはFinBERTの0.0143である。
28のモデルのうち、ニューアイの推論と偽発見率の補正以降は、重要なテストは行われていない。
Portfolioの結果も同様に、最高の性能の分類器に対して堅牢な優位性を確立することができない。
その結果,QLoRAは金銭的感情適応に有効であり,また,分類精度と有意な横断信号との明確なギャップを文書化した。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Temporal Leakage in Financial News NLP: A Multi-Architecture Audit with a Regime-Specific M&A Signal [13.5023809267948]
TF-IDF, MiniLM, FinBERT, fine-tuned RoBERTa-large / DeBERTa-v3-large にまたがる16種類の特徴モデルの組み合わせに対して49,799個のアーティクルコーパスを監査した。
RandomはMCCを$1.1times$から$6.5times$に分割し、モデル容量と機能豊かさを追跡し、エンドツーエンドのFinBERTの微調整はギャップを埋めるのではなく再増幅する。
論文 参考訳（メタデータ） (2026-08-18T00:23:25Z) - Financial Numerical Prediction and Allocation as Token Generation [30.61787712148154]
FinATOMは3段階のストックリターン予測と動的5-ETFアロケーションのための統合されたヘッドフリーインターフェースを導入している。
2023-2025年のETF試験では、プールされた粗利シャープを1.428から1.529へ、ネットシャープを1.394から1.494までの5-bpの取引コストモデルで改善した。
FinTexTSでは、SFTと政策戦略はそれぞれ73.52%/2.68と73.72%/2.69の累積リターン/eを達成する。
論文 参考訳（メタデータ） (2026-08-10T17:33:10Z) - AWARE-FX: An Auditable Knowledge-Guided AI System for Measuring Corporate Foreign-Exchange Hedging Disclosure [5.667104793245957]
企業年次報告書には、外国為替リスク管理、デリバティブ・ユース、ナチュラル・ヘッジ、明示的な非使用に関する弱い構造化された証拠が含まれている。
本研究では,AI/NLP意思決定支援システムであるAWARE-FXを開発した。
論文 参考訳（メタデータ） (2026-07-30T02:58:46Z) - Measuring Five-Nines Reliability: Sample-Efficient LLM Evaluation in Saturated Benchmarks [45.86413490112477]
大規模言語モデル(LLM)は信頼性に敏感なアプリケーションで使用される。
厳密な信頼境界を持つ稀な失敗確率を推定するには、違法に大きなLSM推論サイズが必要である。
そこで本研究では,クロスエントロピー手法を用いて,故障確率入力に集中したサンプリング分布を学習する。
論文 参考訳（メタデータ） (2026-05-11T20:23:44Z) - V4FinBench: Benchmarking Tabular Foundation Models, LLMs, and Standard Methods on Corporate Bankruptcy Prediction [0.0]
V4FinBenchは、Visegrd Group(V4)エコノミー(2006-2021)の100万以上の企業年次記録のベンチマークである。
V4FinBenchは、現実的なクラス不均衡の下でのメソッドの評価をサポートするように設計されており、正の率は0.19%から0.36%である。
論文 参考訳（メタデータ） (2026-05-11T17:38:17Z) - IndiaFinBench: An Evaluation Benchmark for Large Language Model Performance on Indian Financial Regulatory Text [0.0]
IndiaFinBenchは、インドの金融規制文書上での大規模言語モデル(LLM)のパフォーマンスを評価するための、初めての公開評価ベンチマークである。
IndiaFinBenchは、インド証券取引委員会(SEC)とインド準備銀行(Reserve Bank of India)が入手した192件の文書から得られた406件の専門家による質問回答のペアと、このギャップに対処している。
ゼロショット条件下では、70.4%(Gemma 4 E4B)から89.7%(Gemini 2.5 Flash)の精度で12モデルを評価する。
論文 参考訳（メタデータ） (2026-04-21T10:04:49Z) - Replayable Financial Agents: A Determinism-Faithfulness Assurance Harness for Tool-Using LLM Agents [0.7699235580548228]
LLMエージェントは、規制監査のリプレイに苦労する: トランザクションフラグ付き決定を同じ入力で再現するように要求された場合、ほとんどのデプロイメントは一貫性のある結果を返すことができません。
本稿では,金融サービスに展開するツール利用エージェントにおけるトラジェクティブ決定性およびエビデンス条件の忠実度を測定するためのフレームワークであるDFAHを紹介する。
論文 参考訳（メタデータ） (2026-01-17T19:47:55Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳（メタデータ） (2025-11-27T07:20:52Z) - MobileLLM-R1: Exploring the Limits of Sub-Billion Language Model Reasoners with Open Training Recipes [60.57770396565211]
強い推論能力は、はるかに少ないデータで実現可能であることを示す。
MobileLLM-R50MのAIMEスコアは15.5であり、OLMo-2-1.48Bは0.6、SmolLM-2-1.7Bは0.3である。
論文 参考訳（メタデータ） (2025-09-29T15:43:59Z) - FinTSB: A Comprehensive and Practical Benchmark for Financial Time Series Forecasting [58.70072722290475]
ファイナンシャル・タイム・シリーズ(FinTS)は、人間の脳を増強した意思決定の行動を記録する。
FinTSBは金融時系列予測のための総合的で実用的なベンチマークである。
論文 参考訳（メタデータ） (2025-02-26T05:19:16Z) - Provable tradeoffs in adversarially robust classification [96.48180210364893]
我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。
この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
論文 参考訳（メタデータ） (2020-06-09T09:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。