論文の概要: AgenticFinBench: Benchmarking Financial Agents on Diverse Tasks from Real-World Requests

• arxiv url: http://arxiv.org/abs/2611.04813v2
• Date: Wed, 04 Nov 2026 03:29:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.774112
• Title: AgenticFinBench: Benchmarking Financial Agents on Diverse Tasks from Real-World Requests
• Title（参考訳）: AgenticFinBench: リアルタイムリクエストのさまざまなタスクに関する財務エージェントのベンチマーク
• Abstract要約: AgenticFinBenchは8つのカテゴリ、2つの言語、4つの複雑さレベルにまたがる230の現実世界の財務タスクのベンチマークである。 また,質問専用ルーリックと2段階のクレーム監査を組み合わせた参照フリー評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.721554349232972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Financial agents are becoming an important class of real-world AI systems. Financial tasks vary widely in type and difficulty, and many are open-ended with no ground-truth answers. However, existing benchmarks neither capture this breadth and open-endedness nor separate grounding from correctness. To bridge this gap, we introduce $\textbf{AgenticFinBench}$, a benchmark of 230 real-world financial tasks spanning 8 categories, 2 languages, and 4 complexity levels. We also propose a reference-free evaluation framework that combines question-specific rubrics with a two-stage claim audit that detects hallucinations, defined as claims absent from the agent's trace and refuted by external evidence. This framework better matches how financial work is assessed in practice. Experiments across 18 agent configurations reveal three key findings: (1) Ignoring hallucinations can overstate agent performance: hallucination auditing lowers the baseline leader's score by 7.58 points and moves it to fourth place. (2) Harness differences explain more variation in evidence grounding than model differences (28.6% vs 8.8%). (3) Quality scores fall from 89.44 on direct retrieval to 79.18 on the most complex tasks. Case studies show that agents struggle to explain how events affect company profits or stock prices, compare financial data on a consistent basis, and justify their conclusions. By releasing AgenticFinBench, we aim to advance financial reasoning, factual verification, and agent design for more reliable responses to diverse real-world financial requests.
• Abstract（参考訳）: 金融エージェントは、現実世界のAIシステムの重要なクラスになりつつある。 財政的なタスクはタイプや難易度に大きく異なり、多くは基調的な答えのないオープンエンドである。 しかし、既存のベンチマークは、この広さとオープンディペンデンスを捉えたり、正確性から切り離したりはしない。 このギャップを埋めるために、私たちは$\textbf{AgenticFinBench}$を紹介します。 また,質問専用ルーリックと2段階のクレーム監査を組み合わせた基準フリー評価フレームワークを提案し,エージェントの痕跡にないクレームとして定義され,外部の証拠によって否定される幻覚を検出する。 このフレームワークは、実際の金融業務の評価方法とよく一致します。 1) 幻覚の無視はエージェントのパフォーマンスを過大評価できる: 幻覚監査はベースラインリーダーのスコアを7.58ポイント下げ、第4位に引き上げる。 2)ハーネス差はモデル差(28.6%対8.8%)よりも根拠となる証拠のばらつきを説明できる。 (3) 品質スコアは直接検索すると89.44から最も複雑なタスクでは79.18に低下する。 ケーススタディでは、イベントが企業の利益や株価にどのように影響するかを説明するのに苦労し、財務データを一貫した基準で比較し、結論を正当化する。 AgenticFinBenchをリリースすることによって、さまざまな現実世界の財務要求に対するより信頼性の高い応答のために、財務的推論、事実検証、エージェント設計を進めることを目指している。

関連論文リスト

• FinFIRST: Benchmarking Search Agents for Financial Information Retrieval, Sourcing and Traceability [19.25372336137726]
  FinFIRSTは、答えを共同で評価し、原子の破片を通して証拠を裏付ける最初の金融ベンチマークである。 現実の金融シナリオの集合パターンから構築された、難易度スペクトルにまたがる123の専門家によるタスクで構成されている。 FinFIRSTは、最終回答の正しさを第一の目的として保ちつつ、支援研究プロセスを測定し、検証し、診断可能にする。
  論文  参考訳（メタデータ） (2026-09-21T17:28:08Z)
• FinInteract: Benchmarking Clarification and Intent Integration in Ambiguous Financial Question Answering [8.790693727414414]
  有能なエージェントは、もっともらしいが意図しない読みにコミットするのではなく、あいまいさを認識して尋ねるべきである。 既存の金融ベンチマークでは、問題ごとに1つの金の答えがあいまいさを解決するエージェントを分離できないため、これを測定できない。 FinInteractは173インスタンスのベンチマークで、各質問とデフォルトと意図した解釈をペアリングします。
  論文  参考訳（メタデータ） (2026-09-21T02:06:45Z)
• IPO Finance Agent: Benchmark of LLM Financial Analysts Beyond Finance Agent v2, with Automated Rubric Generation, on the SpaceX (SPCX) IPO [0.0]
  ファイナンスエージェント v2(Vals AI)が金融言語モデルを評価する基準ベンチマークとして登場した。 タスクドメインと検索アーキテクチャの2つの方向に沿ってファイナンスエージェントフレームワークを拡張したIPOファイナンスエージェントを紹介します。 最高の性能評価モデルであるZhipu GLM-5.2は79.8%の精度に達し、その結果得られたフロンティアで最もコスト効率のよいXiaomi MiMo-2.5 Proはクエリあたり0.05 USDでわずかに低い精度(77.2%)に達した。
  論文  参考訳（メタデータ） (2026-06-22T08:42:19Z)
• MoCA-Agent: A Market-of-Claims Code Agent for Financial and Numerical Reasoning [47.751319722749116]
  textscMOCA-Agentは、フリーフォームのマルチエージェントの議論をクレームレベルの検証に置き換える、有望なコードエージェントである。 このシステムは、各質問をタイプされた原子的クレームに分解し、専門家のトレーダーにそれらのクレームの売買を依頼し、信頼度の高い受け入れ/拒絶決定へと命令をクリアする。 コード認識検証器は、実行、構造整合性、一般的な金銭的推論エラーのプログラムをチェックする。
  論文  参考訳（メタデータ） (2026-06-10T00:45:39Z)
• Evaluating LLMs in Finance Requires Explicit Bias Consideration [88.38155218924999]
  ファイナンス固有のバイアスは、パフォーマンスを低下させ、バックテストを汚染し、報告された結果をデプロイメントのクレームに役に立たないものにする。 一つのバイアスが28%以上の研究で議論されることはない。 本稿では,バイアス診断と将来のシステム設計のための最小限の要件を満たす構造的妥当性フレームワークと評価チェックリストを提案する。
  論文  参考訳（メタデータ） (2026-02-15T17:02:01Z)
• All That Glisters Is Not Gold: A Benchmark for Reference-Free Counterfactual Financial Misinformation Detection [67.89888669159899]
  RFC Benchは、現実的なニュースの下で財務的な誤情報に関する大規模な言語モデルを評価するためのベンチマークである。 このベンチマークでは、2つの補完的なタスクが定義されている。
  論文  参考訳（メタデータ） (2026-01-07T18:18:28Z)
• FinanceBench: A New Benchmark for Financial Question Answering [28.865821741574237]
  FinanceBenchは、オープンブックの財務質問応答(QA)上でのLLMのパフォーマンスを評価するための、第一級テストスイートである。 公開企業に関する10,231の質問と、それに対応する回答と証拠の文字列で構成されている。 ファイナンスベンチから150例のサンプルを用いて16のアートモデル構成を検証し,手動で回答を確認した。
  論文  参考訳（メタデータ） (2023-11-20T17:28:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。