論文の概要: Evaluating Large Language Models for Financial Reasoning: A CFA-Based Benchmark Study

• arxiv url: http://arxiv.org/abs/2509.04468v1
• Date: Fri, 29 Aug 2025 06:13:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.303735
• Title: Evaluating Large Language Models for Financial Reasoning: A CFA-Based Benchmark Study
• Title（参考訳）: ファイナンシャル推論のための大規模言語モデルの評価:CFAに基づくベンチマーク研究
• Authors: Xuan Yao, Qianteng Wang, Xinbo Liu, Ke-Wei Huang,
• Abstract要約: 本研究は,CFAのレベルI-IIIにおける公式モック試験から得られた1,560件のマルチチョイス質問を用いて,最先端LCMの総合評価を行った最初の事例である。 主設計上の優先事項として,マルチモーダル・計算能力,推論・特殊化・高精度化,軽量な効率最適化といったモデルを比較した。
• 参考スコア（独自算出の注目度）: 1.6770212301915661
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancement of large language models presents significant opportunities for financial applications, yet systematic evaluation in specialized financial contexts remains limited. This study presents the first comprehensive evaluation of state-of-the-art LLMs using 1,560 multiple-choice questions from official mock exams across Levels I-III of CFA, most rigorous professional certifications globally that mirror real-world financial analysis complexity. We compare models distinguished by core design priorities: multi-modal and computationally powerful, reasoning-specialized and highly accurate, and lightweight efficiency-optimized. We assess models under zero-shot prompting and through a novel Retrieval-Augmented Generation pipeline that integrates official CFA curriculum content. The RAG system achieves precise domain-specific knowledge retrieval through hierarchical knowledge organization and structured query generation, significantly enhancing reasoning accuracy in professional financial certification evaluation. Results reveal that reasoning-oriented models consistently outperform others in zero-shot settings, while the RAG pipeline provides substantial improvements particularly for complex scenarios. Comprehensive error analysis identifies knowledge gaps as the primary failure mode, with minimal impact from text readability. These findings provide actionable insights for LLM deployment in finance, offering practitioners evidence-based guidance for model selection and cost-performance optimization.
• Abstract（参考訳）: 大規模言語モデルの急速な進歩は、金融アプリケーションにとって大きなチャンスとなるが、専門的な金融状況における体系的な評価は依然として限られている。 本研究は,CFAのレベルI-IIIにおける公式モック試験から得られた1,560件のマルチチョイス質問(実世界の財務分析の複雑さを反映した,世界でもっとも厳格な専門家認定)を用いて,最先端のLCMを総合的に評価した最初の事例である。 主設計上の優先事項として,マルチモーダル・計算能力,推論・特殊化・高精度化,軽量な効率最適化といったモデルを比較した。 我々は、ゼロショットプロンプトと、公式CFAカリキュラムコンテンツを統合した新しいRetrieval-Augmented Generationパイプラインを通してモデルを評価する。 RAGシステムは階層的な知識組織と構造化クエリ生成を通じて、正確なドメイン固有の知識検索を実現し、専門家の財務認証評価における推論精度を大幅に向上させる。 その結果、推論指向モデルはゼロショット設定で他よりも一貫して優れており、RAGパイプラインは特に複雑なシナリオにおいて大幅に改善されていることがわかった。 包括的エラー解析は、テキストの可読性からの影響を最小限に抑えながら、知識ギャップを主要な障害モードとして認識する。 これらの知見は, モデル選択と費用対効果最適化のためのエビデンスに基づくガイダンスを提供することにより, LLMの金融展開に対する実用的な洞察を提供する。

関連論文リスト

• Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges [72.3356133063925]
  審査員としての大規模言語モデル(LLM)のパラダイムはスケーラブルなソリューションとして登場したが、以前の作業は主に単純な設定に焦点を当てていた。 我々の詳細な分析は、評価信号の精度と妥当性を向上させるための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2025-09-03T15:48:33Z)
• FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [55.363153649845835]
  FinAgentBenchは、ファイナンスにおけるマルチステップ推論による検索評価のための最初の大規模ベンチマークである。 このベンチマークは、S&P-100上場企業に関する専門家による3,429の例から成っている。 我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-08-07T22:15:22Z)
• Agentar-Fin-R1: Enhancing Financial Intelligence through Domain Expertise, Training Efficiency, and Advanced Reasoning [12.548390779247987]
  本稿では,Agensar-Fin-R1シリーズを紹介する。 我々の最適化手法は、高品質で体系的な金融タスクラベルシステムを統合する。 われわれのモデルは、主要な金融指標を総合的に評価している。
  論文  参考訳（メタデータ） (2025-07-22T17:52:16Z)
• Financial Knowledge Large Language Model [4.599537455808687]
  大規模言語モデル(LLM)の財務知識を評価するための評価ベンチマークであるIDEA-FinBenchを紹介する。 金融分野への一般LLMの迅速な適応を容易にするためのフレームワークであるIDEA-FinKERを提案する。 最後に LLM を利用した財務質問応答システム IDEA-FinQA を提案する。
  論文  参考訳（メタデータ） (2024-06-29T08:26:49Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• Empowering Many, Biasing a Few: Generalist Credit Scoring through Large Language Models [53.620827459684094]
  大規模言語モデル(LLM)は、複数のタスクにまたがる強力な一般化能力を持つ信用スコアリングタスクにおいて大きな可能性を秘めている。 クレジットスコアリングのための LLM を探索する,初のオープンソース包括的フレームワークを提案する。 そこで我々は,各種金融リスク評価タスクの煩雑な要求に合わせて,指導チューニングによる最初の信用・リスク評価大言語モデル(CALM)を提案する。
  論文  参考訳（メタデータ） (2023-10-01T03:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。