論文の概要: QuantEval: A Benchmark for Financial Quantitative Tasks in Large Language Models

• arxiv url: http://arxiv.org/abs/2601.08689v1
• Date: Tue, 13 Jan 2026 16:14:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.276921
• Title: QuantEval: A Benchmark for Financial Quantitative Tasks in Large Language Models
• Title（参考訳）: QuantEval: 大規模言語モデルにおける財務的量的タスクのベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、多くのドメインにわたって強力な能力を示してきたが、財務的な量的タスクの評価は依然として断片化されている。 我々は、知識に基づくQA、量的数学的推論、量的戦略コーディングの3つの重要な分野にわたるLCMを評価するベンチマークであるQuantEvalを紹介する。
• 参考スコア（独自算出の注目度）: 9.14836101052563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have shown strong capabilities across many domains, yet their evaluation in financial quantitative tasks remains fragmented and mostly limited to knowledge-centric question answering. We introduce QuantEval, a benchmark that evaluates LLMs across three essential dimensions of quantitative finance: knowledge-based QA, quantitative mathematical reasoning, and quantitative strategy coding. Unlike prior financial benchmarks, QuantEval integrates a CTA-style backtesting framework that executes model-generated strategies and evaluates them using financial performance metrics, enabling a more realistic assessment of quantitative coding ability. We evaluate some state-of-the-art open-source and proprietary LLMs and observe substantial gaps to human experts, particularly in reasoning and strategy coding. Finally, we conduct large-scale supervised fine-tuning and reinforcement learning experiments on domain-aligned data, demonstrating consistent improvements. We hope QuantEval will facilitate research on LLMs' quantitative finance capabilities and accelerate their practical adoption in real-world trading workflows. We additionally release the full deterministic backtesting configuration (asset universe, cost model, and metric definitions) to ensure strict reproducibility.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くの領域で強力な能力を示しているが、財務的な量的タスクの評価は断片的であり、主に知識中心の質問応答に限られている。 我々は、知識に基づくQA、量的数学的推論、量的戦略コーディングの3つの重要な分野にわたるLCMを評価するベンチマークであるQuantEvalを紹介する。 従来の金融ベンチマークとは異なり、QuantEvalはCTAスタイルのバックテストフレームワークを統合し、モデル生成戦略を実行し、財務パフォーマンスメトリクスを使用してそれらを評価することで、定量的コーディング能力をより現実的に評価することができる。 我々は、最先端のオープンソースおよびプロプライエタリなLCMを評価し、特に推論と戦略コーディングにおいて、人間の専門家にかなりのギャップを観察する。 最後に,大規模教師付き微調整および強化学習実験を行い,一貫した改善を実証した。 我々は,LLMの量的金融能力の研究を促進し,現実の取引ワークフローにおける実践的導入を加速させることを期待する。 さらに、厳密な再現性を確保するために、完全な決定論的バックテスト構成(宇宙、コストモデル、メートル法の定義)もリリースします。

関連論文リスト

• FinLFQA: Evaluating Attributed Text Generation of LLMs in Financial Long-Form Question Answering [57.43420753842626]
  FinLFQAは、複雑な財務問題に対する長文の回答を生成するための大規模言語モデルの能力を評価するために設計されたベンチマークである。 回答品質と属性品質の両方をカバーする自動評価フレームワークを提供する。
  論文  参考訳（メタデータ） (2025-10-07T20:06:15Z)
• Trade in Minutes! Rationality-Driven Agentic System for Quantitative Financial Trading [57.28635022507172]
  TiMiは、アーキテクチャ上、戦略開発を分単位のデプロイメントから切り離す合理性駆動型マルチエージェントシステムである。 本稿では,マクロパターンからマイクロカスタマイズ,トレーディングボット実装のための階層型プログラミング設計,数学的リフレクションによって駆動されるクローズドループ最適化までの2層解析パラダイムを提案する。
  論文  参考訳（メタデータ） (2025-10-06T13:08:55Z)
• Integrating Large Language Models in Financial Investments and Market Analysis: A Survey [39.58317527488534]
  大規模言語モデル (LLMs) は、投資戦略の分析能力を強化し、財政的な意思決定に用いられている。 本研究は、株式選択、リスクアセスメント、感情分析、トレーディング、財務予測における最近のLCMs研究の構造化されたレビューを提供する。
  論文  参考訳（メタデータ） (2025-06-29T05:25:31Z)
• FinEval-KR: A Financial Domain Evaluation Framework for Large Language Models' Knowledge and Reasoning [29.526711154687945]
  FinEval-KRは、大規模言語モデルの知識と推論能力の定量化のための新しい評価フレームワークである。 認知科学に触発されて,様々な認知レベルのタスクを推論する能力を分析する認知スコアを提案する。 実験の結果,LLM推論能力と高次認知能力が推論精度に影響を与える中核的な要因であることが判明した。
  論文  参考訳（メタデータ） (2025-06-18T06:21:50Z)
• An Overview of Large Language Models for Statisticians [109.38601458831545]
  大規模言語モデル(LLM)は人工知能(AI)の変換ツールとして登場した。 本稿では, 統計学者がLLMの開発に重要な貢献できる可能性について考察する。 我々は不確実性定量化、解釈可能性、公正性、プライバシー、透かし、モデル適応といった問題に焦点を当てる。
  論文  参考訳（メタデータ） (2025-02-25T03:40:36Z)
• Evaluating Large Language Models on Financial Report Summarization: An Empirical Study [9.28042182186057]
  我々は3つの最先端大言語モデル(LLM)の比較研究を行っている。 我々の主な動機は、これらのモデルがどのように金融の中で活用できるかを探求することであり、正確さ、文脈的関連性、誤った情報や誤解を招く情報に対する堅牢性を要求する分野である。 本稿では,定量的メトリクス(精度,リコールなど)と質的分析(コンテキスト適合性,一貫性など)を統合し,各モデルの出力品質の全体像を提供する,革新的な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-11T10:36:04Z)
• LMMs-Eval: Reality Check on the Evaluation of Large Multimodal Models [71.8065384742686]
  LMMS-EVALは50以上のタスクと10以上のモデルを持つ統一的で標準化されたマルチモーダルベンチマークフレームワークである。 LMMS-EVAL LITEは、カバー範囲と効率の両方を重視したプルーニング評価ツールキットである。 マルチモーダルなLIVEBENCHは、ニュースやオンラインフォーラムを継続的に更新し、野生におけるモデルの一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-07-17T17:51:53Z)
• SuperCLUE-Fin: Graded Fine-Grained Analysis of Chinese LLMs on Diverse Financial Tasks and Applications [17.34850312139675]
  SC-Finは中国原産の金融大規模言語モデル(FLM)に適した先駆的評価フレームワークである 6つの金融アプリケーションドメインと25の専門タスクにわたるFLMを評価する。 実生活シナリオを模倣するマルチターンでオープンな会話を用いて、SC-Finは様々な基準に基づいてモデルを測定する。
  論文  参考訳（メタデータ） (2024-04-29T19:04:35Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• BizBench: A Quantitative Reasoning Benchmark for Business and Finance [7.4673182865000225]
  BizBenchは、現実的な金融問題を推論するモデルの能力を評価するためのベンチマークである。 新たに収集および拡張されたQAデータから、財務的にテーマ化された3つのコード生成タスクを含む。 これらのタスクは、モデルの財務的背景の知識、財務文書を解析する能力、およびコードの問題を解決する能力を評価する。
  論文  参考訳（メタデータ） (2023-11-11T16:16:11Z)
• Empowering Many, Biasing a Few: Generalist Credit Scoring through Large Language Models [53.620827459684094]
  大規模言語モデル(LLM)は、複数のタスクにまたがる強力な一般化能力を持つ信用スコアリングタスクにおいて大きな可能性を秘めている。 クレジットスコアリングのための LLM を探索する,初のオープンソース包括的フレームワークを提案する。 そこで我々は,各種金融リスク評価タスクの煩雑な要求に合わせて,指導チューニングによる最初の信用・リスク評価大言語モデル(CALM)を提案する。
  論文  参考訳（メタデータ） (2023-10-01T03:50:34Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)
• Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models [48.87381259980254]
  我々は、ChatGPTのような大規模言語モデル(LLM)が、直接の金融トレーニングなしでニュースの見出しから株式市場の反応を予測する能力について文書化している。 GPT-4は、認識後カットオフの見出しを使って、最初の市場の反応を捉え、取引不能な初期反応に対して、ポートフォリオの1日当たりのヒット率を約90%達成している。
  論文  参考訳（メタデータ） (2023-04-15T19:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。