論文の概要: FEVO: Financial Knowledge Expansion and Reasoning Evolution for Large Language Models

• arxiv url: http://arxiv.org/abs/2507.06057v1
• Date: Tue, 08 Jul 2025 14:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:38.240083
• Title: FEVO: Financial Knowledge Expansion and Reasoning Evolution for Large Language Models
• Title（参考訳）: FEVO:大規模言語モデルのための金融知識の拡大と推論進化
• Authors: Bo Pang, Yalu Ouyang, Hangfei Xu, Ziqi Jia, Panpan Li, Shengzhao Wen, Lu Wang, Shiyong Li, Yanpeng Wang,
• Abstract要約: 大規模言語モデル(LLM)のための多段階拡張フレームワークであるFEVOを紹介する。 FEVOは、継続事前学習(CPT)を使用して金融分野の知識を拡大し、構造化された精巧な推論パターンを取り入れ、強化学習(RL)を指導する微調整(SFT)によってLLM性能を体系的に向上させる。 フレームワークを用いて、Qwen2.5-32BからFEVOシリーズ(C32B、S32B、R32B)をトレーニングし、7つのベンチマークで評価を行い、FEVO-R32Bが現状を達成することを示す結果を得た。
• 参考スコア（独自算出の注目度）: 10.601589389525886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advancements in reasoning for large language models (LLMs) have lead to significant performance improvements for LLMs in various fields such as mathematics and programming. However, research applying these advances to the financial domain, where considerable domain-specific knowledge is necessary to complete tasks, remains limited. To address this gap, we introduce FEVO (Financial Evolution), a multi-stage enhancement framework developed to enhance LLM performance in the financial domain. FEVO systemically enhances LLM performance by using continued pre-training (CPT) to expand financial domain knowledge, supervised fine-tuning (SFT) to instill structured, elaborate reasoning patterns, and reinforcement learning (RL) to further integrate the expanded financial domain knowledge with the learned structured reasoning. To ensure effective and efficient training, we leverage frontier reasoning models and rule-based filtering to curate FEVO-Train, high-quality datasets specifically designed for the different post-training phases. Using our framework, we train the FEVO series of models -- C32B, S32B, R32B -- from Qwen2.5-32B and evaluate them on seven benchmarks to assess financial and general capabilities, with results showing that FEVO-R32B achieves state-of-the-art performance on five financial benchmarks against much larger models as well as specialist models. More significantly, FEVO-R32B demonstrates markedly better performance than FEVO-R32B-0 (trained from Qwen2.5-32B-Instruct using only RL), thus validating the effectiveness of financial domain knowledge expansion and structured, logical reasoning distillation
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論の進歩は、数学やプログラミングなど様々な分野におけるLLMの大幅な性能向上につながった。 しかし、これらの進歩を業務完了にドメイン固有の知識がかなり必要である金融分野に適用する研究は依然として限られている。 このギャップに対処するために、金融分野におけるLLM性能を高めるために開発された多段階拡張フレームワークであるFEVO(Financial Evolution)を導入する。 FEVOは、継続事前学習(CPT)を用いて金融ドメイン知識を拡大し、構造化された精巧な推論パターンを注入するための教師付き微調整(SFT)と強化学習(RL)により、拡張された金融ドメイン知識と学習された推論とをさらに統合することにより、LLM性能を体系的に向上する。 効果的で効率的なトレーニングを実現するために、フロンティア推論モデルとルールベースのフィルタリングを活用して、異なるトレーニングフェーズ用に特別に設計された、高品質なデータセットであるFEVO-Trainをキュレートする。 フレームワークを用いて、Qwen2.5-32BからFEVOシリーズ(C32B、S32B、R32B)をトレーニングし、7つのベンチマークで評価し、金融と一般の能力を評価する。 さらに、FEVO-R32BはFEVO-R32B-0(Qwen2.5-32B-Instruct using only RL)よりも著しく優れた性能を示し、金融ドメイン知識の拡大と構造的論理推論蒸留の有効性を検証した。

関連論文リスト

• MeRF: Motivation-enhanced Reinforcement Finetuning for Large Reasoning Models [95.6332110724999]
  MeRF(Motivation-enhanced Reinforcement Finetuning)は、大規模言語モデル(LLM)の強化学習を強化する直感的かつ効果的な手法である。 MeRFは報酬仕様を直接プロンプトに注入し、最適化目標を認識して応答を改善するためのコンテキスト内モチベーションとして機能する。 Knights and Knaves(K&K)論理パズル推論ベンチマークに関する実証的な評価は、texttMeRFがベースラインよりもかなりの性能向上を達成することを示した。
  論文  参考訳（メタデータ） (2025-06-23T10:37:57Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [82.43575191712726]
  本稿では,強化学習が推論に与える影響を明らかにするための,きめ細かい分析フレームワークを提案する。 本フレームワークは,RLトレーニングの恩恵を受けると仮定された重要な要素を具体的に調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Fino1: On the Transferability of Reasoning-Enhanced LLMs and Reinforcement Learning to Finance [35.617409883103335]
  FinReasonは、マルチテーブル分析、長期コンテキスト推論、方程式ベースのタスクをカバーする最初の財務推論ベンチマークである。 7つのQAデータセットから抽出した、ファイナンスのための最初のオープンな高忠実度CoTコーパスであるFinCoTを紹介する。 我々は、教師付き微調整とGRPOベースのRLを用いて訓練された最初のオープンファイナンシャル推論モデルであるFin-o1を開発した。
  論文  参考訳（メタデータ） (2025-02-12T05:13:04Z)
• Demystifying Domain-adaptive Post-training for Financial LLMs [79.581577578952]
  FINDAPは、大規模言語モデル(LLM)のドメイン適応後学習に関する体系的できめ細かな研究である このアプローチは、FinCap、FinRec、FinTrain、FinEvalの4つの重要なコンポーネントで構成されています。 結果として得られるモデルであるLlama-Finは、幅広い財務タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-01-09T04:26:15Z)
• Enhancing Financial Domain Adaptation of Language Models via Model Augmentation [2.9960693856871545]
  本研究は、金融分野への適応における言語モデル(CALM)の構成の有効性を実証する。 我々は,強力な応答機能を有するLCMの財務性能を向上させるためのCALMを開発した。
  論文  参考訳（メタデータ） (2024-11-14T07:28:09Z)
• Are LLMs Rational Investors? A Study on Detecting and Reducing the Financial Bias in LLMs [44.53203911878139]
  大規模言語モデル(LLM)は、複雑な市場データとトレンドを解釈する金融分析において、ますます採用されている。 Financial Bias Indicators (FBI)は、Bias Unveiler、Bias Detective、Bias Tracker、Bias Antidoteといったコンポーネントを備えたフレームワークである。 我々は、23のLLMを評価し、財務因果知識に基づく非バイアス化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-20T04:26:08Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models [51.3422222472898]
  ニュース見出しを用いて,ChatGPTのような大規模言語モデル(LLM)の株価変動を予測する能力について述べる。 我々は,情報容量制約,過小反応,制限対アビタージュ,LLMを組み込んだ理論モデルを構築した。
  論文  参考訳（メタデータ） (2023-04-15T19:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。