論文の概要: Financial Text Classification Based On rLoRA Finetuning On Qwen3-8B model

• arxiv url: http://arxiv.org/abs/2512.00630v1
• Date: Sat, 29 Nov 2025 21:04:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.33448
• Title: Financial Text Classification Based On rLoRA Finetuning On Qwen3-8B model
• Title（参考訳）: Qwen3-8Bモデルに基づくrLoRAファインタニングに基づく財務テキスト分類
• Authors: Zhiming Lian,
• Abstract要約: 最先端モデルQwen3-8Bは、強い命令追従と多言語機能を示す。 推論ベースのベンチマークで、特に効率的な微調整と高性能に最適化されている。 命令ベースの微調整とメモリ効率の最適化手法の相乗効果は、Qwen3-8Bがリアルタイム金融NLPアプリケーションにスケーラブルで経済的な選択肢となる可能性を示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Financial text classification has increasingly become an important aspect in quantitative trading systems and related tasks, such as financial sentiment analysis and the classification of financial news. In this paper, we assess the performance of the large language model Qwen3-8B on both tasks. Qwen3-8B is a state-of-the-art model that exhibits strong instruction-following and multilingual capabilities, and is distinct from standard models, primarily because it is specifically optimized for efficient fine tuning and high performance on reasoning-based benchmarks, making it suitable for financial applications. To adapt this model, we apply Noisy Embedding Instruction Finetuning and based on our previous work, this method increases robustness by injecting controlled noise into the embedding layers during supervised adaptation. We improve efficiency further with Rank-stabilized Low-Rank Adaptation low-rank optimization approach, and FlashAttention, which allow for faster training with lower GPU memory. For both tasks, we benchmark Qwen3-8B against standard classical transformer models, such as T5, BERT, and RoBERTa, and large models at scale, such as LLaMA1-7B, LLaMA2-7B, and Baichuan2-7B. The findings reveal that Qwen3-8B consistently surpasses these baselines by obtaining better classification accuracy and needing fewer training epochs. The synergy of instruction-based fine-tuning and memory-efficient optimization methods suggests Qwen3-8B can potentially serve as a scalable, economical option for real-time financial NLP applications. Qwen3-8B provides a very promising base for advancing dynamic quantitative trading systems in the future.
• Abstract（参考訳）: 金融テキスト分類は、量的トレーディングシステムや金融感情分析や金融ニュースの分類といった関連するタスクにおいて、ますます重要な側面となっている。 本稿では,両タスクにおける大規模言語モデルQwen3-8Bの性能評価を行う。 Qwen3-8Bは、強い命令フォローと多言語機能を示す最先端のモデルであり、主に推論ベースのベンチマークで効率的な微調整と高性能に最適化されており、金融アプリケーションに適しているため、標準モデルとは異なる。 このモデルを適応させるために, ノイズ埋め込み命令ファインタニングを適用し, 従来の研究に基づいて, 教師付き適応中に制御ノイズを埋め込み層に注入することによりロバスト性を高める。 我々は、ランク安定化低ランク適応低ランク最適化アプローチと、低いGPUメモリでより高速なトレーニングを可能にするFlashAttentionにより、効率をさらに向上する。 両タスクにおいて,従来の変圧器モデルであるT5,BERT,RoBERTa,大規模モデルであるLLaMA1-7B,LLaMA2-7B,Baichuan2-7Bに対して,Qwen3-8Bをベンチマークした。 その結果,Qwen3-8Bは分類精度が向上し,訓練エポックスが少なくなることにより,これらのベースラインを一貫して上回っていることが明らかとなった。 命令ベースの微調整とメモリ効率の最適化手法の相乗効果は、Qwen3-8Bがリアルタイム金融NLPアプリケーションにスケーラブルで経済的な選択肢となる可能性を示唆している。 Qwen3-8Bは将来、ダイナミックな量的トレーディングシステムを前進させる非常に有望な基盤を提供する。

関連論文リスト

• LAET: A Layer-wise Adaptive Ensemble Tuning Framework for Pretrained Language Models [7.216206616406649]
  BloombergGPTやFinMAのような大規模言語モデル(LLM)は、さまざまな財務NLPタスクに対して新しいベンチマークを設定している。 我々は,LLMの最も効果的な層を選択的に微調整する新しい戦略であるLayer-wise Adaptive Ensemble Tuning (LAET)を提案する。 提案手法は,財務NLPタスクにおいて,既存のベンチマークや最先端のLCMよりも優れた結果を示す。
  論文  参考訳（メタデータ） (2025-11-14T13:57:46Z)
• Continual Action Quality Assessment via Adaptive Manifold-Aligned Graph Regularization [53.82400605816587]
  アクション品質アセスメント(AQA)は、ビデオにおける人間の行動を定量化し、スポーツスコアリング、リハビリテーション、スキル評価の応用を支援する。 大きな課題は、現実世界のシナリオにおける品質分布の非定常的な性質にある。 本稿では,進化する分布を扱うための連続学習機能を備えた連続AQA(Continuous AQA)を紹介する。
  論文  参考訳（メタデータ） (2025-10-08T10:09:47Z)
• Type-Compliant Adaptation Cascades: Adapting Programmatic LM Workflows to Data [12.136710894967088]
  本稿では,ワークフロー適応を学習型確率型プログラムとして再放送するフレームワークであるType-Compliant Adaptation Cascadesを紹介する。 経験的に、TACは最先端のプロンプト最適化ベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2025-08-25T17:36:21Z)
• Shadow-FT: Tuning Instruct Model via Training on Paired Base Model [67.20706292627106]
  大規模言語モデル(LLM)は、様々なタスクのさらなる微調整の恩恵を一貫して受けている。 本稿では,対応するベースモデルを活用してインストラクタモデルをチューニングするための新しいシャドウ-FTフレームワークを提案する。 提案するShadow-FTは,追加パラメータを導入せず,実装が容易で,性能が大幅に向上する。
  論文  参考訳（メタデータ） (2025-05-19T05:16:21Z)
• ScoreFlow: Mastering LLM Agent Workflows via Score-based Preference Optimization [51.280919773837645]
  エージェントワークフロー最適化のための高性能フレームワークであるScoreFlowを開発した。 ScoreFlowは、量的フィードバックを考慮に入れた直接選好最適化手法の新たな変種であるScore-DPOを組み込んでいる。 質問応答、コーディング、数学的推論を通じて、既存のベースラインよりも8.2%改善されている。
  論文  参考訳（メタデータ） (2025-02-06T18:47:49Z)
• FinLoRA: Finetuning Quantized Financial Large Language Models Using Low-Rank Adaptation [13.815905522616838]
  大規模言語モデル(LLM)の微調整は、財務上のタスクにおいて顕著なパフォーマンスを示している。 しかし、FinLLMの微調整はGPUメモリの制約や長い入力シーケンスといった問題を引き起こす。 我々は、低ランク行列分解と量子化技術を利用するFinLLMを微調整するために、量子化低ランク適応(QLoRA)を用いる。
  論文  参考訳（メタデータ） (2024-12-16T02:05:49Z)
• A Comparative Analysis of Instruction Fine-Tuning LLMs for Financial Text Classification [0.8192907805418583]
  大きな言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクにまたがる印象的な機能を示している。 本研究は,財務テキスト分類作業における指導用微調整の有効性について検討した。
  論文  参考訳（メタデータ） (2024-11-04T18:06:36Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• PanGu-$\pi$: Enhancing Language Model Architectures via Nonlinearity Compensation [97.78045712375047]
  大規模言語モデル(LLM)のための新しい効率的なモデルアーキテクチャを提案する。 そこで,PanGu-$pi$-7Bは,約10%の推論速度を持つベンチマークに匹敵する性能が得られることを示す。 さらに,PanGu-$pi$-7Bを金融法と法律の高価値領域に導入し,実践的応用のためにYunShanというLLMを開発した。
  論文  参考訳（メタデータ） (2023-12-27T11:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。