論文の概要: FinFIRST: Benchmarking Search Agents for Financial Information Retrieval, Sourcing and Traceability
- arxiv url: http://arxiv.org/abs/2609.25192v1
- Date: Mon, 21 Sep 2026 17:28:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.053303
- Title: FinFIRST: Benchmarking Search Agents for Financial Information Retrieval, Sourcing and Traceability
- Title（参考訳）: FinFIRST:金融情報検索、ソーシング、トレーサビリティのためのベンチマーク検索エージェント
- Abstract要約: FinFIRSTは、答えを共同で評価し、原子の破片を通して証拠を裏付ける最初の金融ベンチマークである。
現実の金融シナリオの集合パターンから構築された、難易度スペクトルにまたがる123の専門家によるタスクで構成されている。
FinFIRSTは、最終回答の正しさを第一の目的として保ちつつ、支援研究プロセスを測定し、検証し、診断可能にする。
- 参考スコア（独自算出の注目度）: 19.25372336137726
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Financial search is a highly demanding task for LLM agents, requiring not only a correct final answer but also temporally valid information retrieval, authoritative source selection, entity and period alignment, unit and definition consistency, and verifiable evidence for all conclusions. Existing benchmarks predominantly evaluate only the final answer, making it difficult to localize errors or assess whether an answer is well-founded. To address this gap, we introduce FinFIRST (Financial Information Retrieval, Sourcing and Traceability), the first financial benchmark to jointly evaluate answers and supporting evidence through atomic rubrics. FinFIRST comprises 123 expert-authored tasks spanning a graduated difficulty spectrum, constructed from aggregate patterns of real-world financial scenarios through an 18-field taxonomy, a six-axis coverage blueprint, a registry of 138 financial sources, contributions from over 50 finance experts, and a six-stage quality-control pipeline. Each task is accompanied by an evidence-grounded reference package decomposed into atomic criteria across three dimensions: raw-information acquisition, source verification, and computation and answer formation. We evaluate 15 model configurations under a unified tool setting. Claude-Opus-5 achieves the highest atomic score of 87.59%, while GPT-5.6-Sol attains the highest strict pass rate of 71.54%. Computation and answer formation consistently lag behind raw-information acquisition across systems. FinFIRST retains final-answer correctness as the primary objective while making the supporting research process measurable, verifiable, and diagnosable.
- Abstract（参考訳）: ファイナンシャル・サーチはLLMエージェントにとって非常に要求の多いタスクであり、正しい最終回答だけでなく、時間的に有効な情報検索、権威のある情報源の選択、実体と期間のアライメント、単位と定義の整合性、そしてすべての結論に対する検証可能な証拠を必要とする。
既存のベンチマークは主に最終回答のみを評価するため、エラーのローカライズや、回答が十分に根底にあるかどうかの判断が難しい。
このギャップに対処するため、我々はFinFIRST(Financial Information Retrieval, Sourcing and Traceability)を導入します。
FinFIRSTは、18の分野の分類、6軸のカバレッジ・ブループリント、138の金融源のレジストリ、50以上の金融専門家からのコントリビューション、および6段階の品質管理パイプラインを通じて、現実の金融シナリオの集合パターンから構築された、高度な難易度の範囲にまたがる123の専門家によるタスクで構成されている。
各タスクには、原情報取得、ソース検証、計算と回答生成という3つの次元にまたがる原子基準に分解されたエビデンス基底の参照パッケージが付属する。
統一ツール設定で15のモデル構成を評価する。
クロード・オプス5は87.59%、GPT-5.6-ソルは71.54%である。
計算と回答の形成は、システム間での生情報獲得に一貫して遅れている。
FinFIRSTは、最終回答の正しさを第一の目的として保ちつつ、支援研究プロセスを測定し、検証し、診断可能にする。
関連論文リスト
- FinRiskAtlas: Decision-Aligned Evaluation of Large Language Models for Financial Risk Review [25.300288794507377]
2つの相補的な次元に沿って財務LLMを評価する中国語のベンチマークであるFinRiskAtlasを紹介する。
このフレームワークは、104の特定されていないプロの軌跡から680のプレアクション状態のオフライン再生を通じて拡張する。
FinRisk-Askは、Askブランチをより頻繁に入力することは、要求ターゲティングやエンドツーエンドのエビデンス獲得を改善するとは限らないことを示している。
論文 参考訳（メタデータ） (2026-08-26T03:13:15Z) - FinanceHarness: Autonomous Financial Deep Research Framework [41.02718376252945]
FinanceHarnessは金融指向のツールと、実践者向けで自動化された金融深層調査をエンドツーエンドで実行している。
FinanceGymは、論文駆動の研究質問と、プレカットとポストカットの基準を組み合わせたルーリックで構成されている。
論文 参考訳（メタデータ） (2026-07-30T08:32:04Z) - BigFinanceBench: A Workflow-Grounded Benchmark for Financial-Research Agents [5.690389797295356]
BigFinanceBenchは、オープンエンドの粗悪な財務調査タスクの928項目のベンチマークである。
導出を独立にチェック可能なステップに分解する。
アナリストワークフロー全体にわたって、部分クレジット評価と障害のローカライズをサポートする。
論文 参考訳（メタデータ） (2026-06-02T16:12:34Z) - Agentic Retrieval-Augmented Generation for Financial Document Question Answering [7.56842616602779]
FinAgent-RAGは、反復的な検索推論ループを自己組織化してオーケストレーションするエージェントRAGフレームワークである。
コントラシティブ・ファイナンシャル・レトリバー(Contrastive Financial Retriever)は、意味的には似ているが数値的に異なる金融パスを区別するために、厳しい負の採掘で訓練されたコントラシティブ・ファイナンシャル・レトリバーを統合している。
76.81%、78.46%、74.96%の精度で最強のベースラインを5.62-9.32ポイント上回っている。
論文 参考訳（メタデータ） (2026-05-06T19:59:51Z) - FinLFQA: Evaluating Attributed Text Generation of LLMs in Financial Long-Form Question Answering [57.43420753842626]
FinLFQAは、複雑な財務問題に対する長文の回答を生成するための大規模言語モデルの能力を評価するために設計されたベンチマークである。
回答品質と属性品質の両方をカバーする自動評価フレームワークを提供する。
論文 参考訳（メタデータ） (2025-10-07T20:06:15Z) - FinSearchComp: Towards a Realistic, Expert-Level Evaluation of Financial Search and Reasoning [30.252244345152956]
FinSearchCompは、現実的でオープンドメインの財務検索と推論のための、初めての完全なオープンソースベンチマークである。
このベンチマークには、世界および大中国市場にわたる635の質問が含まれている。
Grok 4(Web)は、専門家レベルの精度に近づき、グローバルサブセットのトップである。
論文 参考訳（メタデータ） (2025-09-16T15:13:13Z) - FinDER: Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation [65.04104723843264]
ファイナンスにおけるRetrieval-Augmented Generation(RAG)に適したエキスパート生成データセットであるFinDERを提案する。
FinDERは、ドメインの専門家による検索関連証拠の注釈付けに重点を置いており、5,703のクエリ・エビデンス・アンサー・トリプルを提供している。
大きなコーパスから関連する情報を取得するためにモデルに挑戦することで、FinDERはRAGシステムを評価するためのより現実的なベンチマークを提供する。
論文 参考訳（メタデータ） (2025-04-22T11:30:13Z) - FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。
FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
論文 参考訳（メタデータ） (2024-02-20T02:16:16Z) - FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。
我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。
その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
論文 参考訳（メタデータ） (2021-09-01T00:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。