論文の概要: Fino1: On the Transferability of Reasoning Enhanced LLMs to Finance
- arxiv url: http://arxiv.org/abs/2502.08127v2
- Date: Fri, 28 Mar 2025 08:33:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-31 18:43:58.297569
- Title: Fino1: On the Transferability of Reasoning Enhanced LLMs to Finance
- Title（参考訳）: Fino1:Reasoning Enhanced LLMsの財務への移転可能性について
- Authors: Lingfei Qian, Weipeng Zhou, Yan Wang, Xueqing Peng, Han Yi, Jimin Huang, Qianqian Xie, Jianyun Nie,
- Abstract要約: 大規模言語モデル(LLM)は、強力な一般的な推論能力を示しているが、財務的推論におけるその効果はいまだに解明されていない。
我々は,4つの複雑な財務推論タスクにおいて,24の最先端の一般および推論に焦点を当てたLCMを評価した。
本稿では,Fino1-8BとFinoBの2つのドメイン適応モデルを提案する。
- 参考スコア（独自算出の注目度）: 32.516564836540745
- License:
- Abstract: While large language models (LLMs) have shown strong general reasoning capabilities, their effectiveness in financial reasoning, which is crucial for real-world financial applications remains underexplored. In this study, we conduct a comprehensive evaluation of 24 state-of-the-art general and reasoning-focused LLMs across four complex financial reasoning tasks involving financial text, tabular data, and equations. We assess key capabilities such as numerical reasoning, tabular interpretation, financial terminology comprehension, long-context understanding, and equation-based problem solving. Our analysis reveals that while data quality and pretraining contribute to performance, general techniques like chain-of-thought (CoT) fine-tuning offer limited gains in financial tasks. To address this, we propose two domain-adapted models, Fino1-8B and Fino1-14B, trained with CoT fine-tuning and reinforcement learning using domain-specific reasoning paths. Our models are trained on a carefully curated dataset integrating high-quality examples from diverse sources, covering financial reports, tables, equations, and structured XBRL texts. Despite limited training data, they achieve an 7-9% performance improvement, outperforming several advanced LLMs, including GPT-o1, GPT-o3-mini, GPT-4.5, and comparable with DeepSeek models (V3 and R1), demonstrating strong practical value in resource, constrained scenarios. Our findings highlight the need for domain-specific adaptations in financial reasoning, and we release all datasets, models, and code for future research.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、強力な一般的な推論能力を示してきたが、実世界の金融アプリケーションにとって重要な金融推論の有効性は未定のままである。
本研究では、金融テキスト、表計算データ、方程式を含む4つの複雑な財務推論タスクに対して、24の最先端一般および推論に焦点を当てたLLMを包括的に評価する。
我々は,数値推論,表解釈,財務用語理解,長期理解,方程式に基づく問題解決などの重要な機能を評価する。
分析の結果,データ品質や事前学習はパフォーマンスに寄与するが,チェーン・オブ・ソート(CoT)ファインチューニングのような一般的な手法は,財務上のタスクにおいて限られた利益をもたらすことがわかった。
そこで本研究では,ドメイン固有の推論経路を用いてCoT微調整と強化学習を訓練したドメイン適応モデルFino1-8BとFino1-14Bを提案する。
我々のモデルは、財務報告、表、方程式、構造化されたXBRLテキストをカバーし、さまざまな情報源から高品質なサンプルを統合する、慎重に訓練されたデータセットに基づいて訓練されている。
限られたトレーニングデータにもかかわらず、GPT-o1、GPT-o3-mini、GPT-4.5、DeepSeekモデル(V3、R1)など、いくつかの先進的なLCMよりもパフォーマンスが7-9%向上し、リソースや制約のあるシナリオにおいて強力な実用的価値を示す。
本研究は、金融推論におけるドメイン固有の適応の必要性を強調し、将来の研究のためにすべてのデータセット、モデル、コードをリリースする。
関連論文リスト
- FinMTEB: Finance Massive Text Embedding Benchmark [18.990655668481075]
金融分野向けに設計されたMTEBに特化して開発されたFinMTEB(FinMTEB)について紹介する。
FinMTEBは、7つのタスクにまたがる64の金融ドメイン固有の埋め込みデータセットで構成されている。
1)汎用ベンチマークのパフォーマンスは,金融ドメインタスクとの相関が限定されていること,(2)ドメイン適応モデルの方が汎用タスクより一貫して優れていること,(3)意外なことに,単純なBag-of-Words(BoW)アプローチは,金融セマンティックテクスチャ類似タスクにおける洗練された埋め込みよりも優れていること,の3点を示す。
論文 参考訳（メタデータ） (2025-02-16T04:23:52Z) - Demystifying Domain-adaptive Post-training for Financial LLMs [79.581577578952]
FINDAPは、大規模言語モデル(LLM)のドメイン適応後学習に関する体系的できめ細かな研究である
このアプローチは、FinCap、FinRec、FinTrain、FinEvalの4つの重要なコンポーネントで構成されています。
結果として得られるモデルであるLlama-Finは、幅広い財務タスクで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-01-09T04:26:15Z) - A Comparative Analysis of Instruction Fine-Tuning LLMs for Financial Text Classification [0.8192907805418583]
大きな言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクにまたがる印象的な機能を示している。
本研究は,財務テキスト分類作業における指導用微調整の有効性について検討した。
論文 参考訳（メタデータ） (2024-11-04T18:06:36Z) - Large Language Models for Financial Aid in Financial Time-series Forecasting [0.4218593777811082]
金融支援の時系列予測は、限られた歴史的データセットと高次元財務情報のために困難である。
我々は、従来のアプローチよりも優れた性能を示すために、事前訓練されたLPM(GPT-2をバックボーンとする)、トランスフォーマー、線形モデルなど、最先端の時系列モデルを用いている。
論文 参考訳（メタデータ） (2024-10-24T12:41:47Z) - SNFinLLM: Systematic and Nuanced Financial Domain Adaptation of Chinese Large Language Models [6.639972934967109]
大規模言語モデル (LLM) は、金融業界において自然言語処理を推進するための強力なツールとなっている。
SNFinLLMという中国の金融ドメイン向けに設計された新しい大規模言語モデルを提案する。
SNFinLLMは、質問への回答、財務調査レポートの要約、感情の分析、財務計算の実行など、ドメイン固有のタスクに優れています。
論文 参考訳（メタデータ） (2024-08-05T08:24:24Z) - CatMemo at the FinLLM Challenge Task: Fine-Tuning Large Language Models using Data Fusion in Financial Applications [10.225210627594894]
IJCAI-2024 FinLLMの課題に対して,金融業務の3つの重要な領域におけるLLMの能力について検討した。
金融分類、財務文書要約、単一株式取引について検討する。
提案手法は,これらの多様なタスクを包括的かつ総合的に処理することを目的としており,LLMの多様かつ複雑な財務課題への対処能力の向上と意思決定能力の向上を図っている。
論文 参考訳（メタデータ） (2024-07-02T05:04:13Z) - A Survey of Large Language Models for Financial Applications: Progress, Prospects and Challenges [60.546677053091685]
大規模言語モデル(LLM)は金融分野における機械学習アプリケーションに新たな機会を開放した。
我々は、従来のプラクティスを変革し、イノベーションを促進する可能性に焦点を当て、様々な金融業務におけるLLMの適用について検討する。
本稿では,既存の文献を言語タスク,感情分析,財務時系列,財務推論,エージェントベースモデリング,その他の応用分野に分類するための調査を紹介する。
論文 参考訳（メタデータ） (2024-06-15T16:11:35Z) - AlphaFin: Benchmarking Financial Analysis with Retrieval-Augmented Stock-Chain Framework [48.3060010653088]
我々はAlphaFinデータセットをリリースし、従来の研究データセット、リアルタイム財務データ、手書きのチェーン・オブ・プリート(CoT)データを組み合わせています。
次に、AlphaFinデータセットを使用して、金融分析タスクを効果的に処理するために、Stock-Chainと呼ばれる最先端の手法をベンチマークします。
論文 参考訳（メタデータ） (2024-03-19T09:45:33Z) - PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark
for Finance [63.51545277822702]
PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。
我々はLLaMAを細調整してFinMAを提案する。
我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
論文 参考訳（メタデータ） (2023-06-08T14:20:29Z) - Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models [51.3422222472898]
ニュース見出しを用いて,ChatGPTのような大規模言語モデル(LLM)の株価変動を予測する能力について述べる。
我々は,情報容量制約,過小反応,制限対アビタージュ,LLMを組み込んだ理論モデルを構築した。
論文 参考訳（メタデータ） (2023-04-15T19:22:37Z) - FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。
我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。
その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
論文 参考訳（メタデータ） (2021-09-01T00:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。