論文の概要: FinRCA-Bench: Benchmarking Evidence Retrieval and Reasoning for Financial AI Systems

• arxiv url: http://arxiv.org/abs/2608.18534v1
• Date: Wed, 19 Aug 2026 04:36:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.280075
• Title: FinRCA-Bench: Benchmarking Evidence Retrieval and Reasoning for Financial AI Systems
• Title（参考訳）: FinRCA-Bench: ファイナンシャルAIシステムのためのエビデンス検索と推論のベンチマーク
• Abstract要約: FinRCA-Benchは、14の運用テーブルにまたがる2250の口座支払い可能な銀行間和解ケースのベンチマークである。 その結果,構造的検索の失敗は,95～15の精度で推理的検索の失敗をはるかに上回っていることがわかった。 FinRCA-Benchでは、検索アーキテクチャがAIシステムの性能を強く観察し、ルート原因ラベルは聴覚診断の弱いプロキシである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are increasingly used to support financial operations, but their apparent reasoning performance can depend on whether they receive the right evidence. In financial reconciliation, the evidence needed for diagnosis is distributed across invoices, purchase orders, approvals, allocations, payments, ledger entries, and bank activity, linked by transactional relationships rather than textual similarity. End-to-end accuracy can therefore conflate evidence access with reasoning quality. We introduce FinRCA-Bench, a deterministic synthetic benchmark of 2,250 accounts-payable-to-bank reconciliation cases spanning 14 operational tables, including 1,500 injected failures across 15 causal categories and 750 legitimate or hard-negative cases. Root-cause labels and record-level evidence contracts are hidden from the model, allowing retrieval to be evaluated independently of answer correctness. We compare Rules/SQL, classical machine learning, dense semantic retrieval, deterministic relational expansion, and Typed Provenance Graph Retrieval (TPGR), a typed traversal restricted to persisted transaction relationships. Rules/SQL reaches 84.97% held-out exact accuracy and classical ML reaches 95.44%. Holding the reasoning model, prompt, and generation settings fixed while changing only retrieval increases macro required-record recall from 0.83% to 77.70% and exact 16-class accuracy from 2.05% to 72.44%. Structural retrieval failures outnumber reasoning failures with sufficient retrieval by 95 to 15; 254 correct predictions occur despite incomplete retrieval, and strict returned-evidence contract accuracy is only 5.72%. On FinRCA-Bench, retrieval architecture strongly shapes observed AI-system performance, and a correct root-cause label is a weak proxy for an auditable diagnosis.
• Abstract（参考訳）: 大規模言語モデルは、金融業務を支援するためにますます使われているが、その明らかな推論性能は、彼らが正しい証拠を受け取るかどうかに依存する可能性がある。 金融和解においては、診断に必要な証拠は、請求書、購入命令、承認、割当、支払い、台帳のエントリー、銀行活動に分散し、テキストの類似性よりも取引関係によって関連付けられている。 したがって、エンドツーエンドの精度は、証拠へのアクセスと推論品質を区別することができる。 我々はFinRCA-Benchについて,15の因果カテゴリーにわたる1500の障害と750の正負のケースを含む14の操作テーブルにまたがる2,250のアカウント支払い銀行間和解事例を決定論的に比較した総合ベンチマークを紹介した。 ルート起因ラベルと記録レベルのエビデンス契約はモデルから隠蔽され、回答の正しさとは無関係に検索を評価することができる。 我々は、ルール/SQL、古典的機械学習、密接なセマンティック検索、決定論的リレーショナル拡張、および持続的なトランザクション関係に制限された型付きトラバースグラフ検索(TPGR)を比較した。 ルール/SQLは84.97%の精度で保持され、古典的なMLは95.44%に達した。 推論モデル、プロンプト、生成設定を変更せずに保持すると、マクロ要求レコードのリコールは0.83%から77.70%に増加し、正確な16クラスの精度は2.05%から72.44%に向上する。 構造的検索失敗は95から15の精度で推理失敗を上回り、不完全検索にもかかわらず正しい予測が254回発生し、厳密な復号契約精度は5.72%である。 FinRCA-Benchでは、検索アーキテクチャが観測されたAIシステムのパフォーマンスを強く形作っている。

関連論文リスト

• State of Thought Enables Endogenous Reasoning [48.902117018115256]
  大規模言語モデル(LLM)の能力向上のための主要なアプローチとして、テスト時推論が登場した。 LLMにおける内在的推論を可能にする新しい推論パラダイムであるState of Thoughtを提案する。 SoTは平均ベースライン精度を一貫して改善し,生成トークンを62.6%,エンドツーエンドのレイテンシを44.6%削減した。
  論文  参考訳（メタデータ） (2026-09-13T05:55:03Z)
• TrustDABench: Benchmarking Reliability and Robustness of LLMs for Structured Data Analysis [42.62413276719373]
  信頼できる結果は、ユーザ質問から関連するデータエビデンスへの有効なパスによってサポートされるべきである。 この要件は2つの診断質問を生成する: LLMがそのような経路が存在しない場合、答えを拒否するか、明確化を求めることができるか、同じ証拠が異なる表形式で表現された場合、正しい分析を維持できるかである。 信頼性と堅牢性としてこれらの質問を運用するベンチマークであるTrustDABenchを紹介します。
  論文  参考訳（メタデータ） (2026-08-25T07:09:01Z)
• Auditable by Construction: An Ontology-Driven Framework for Trustworthy LLM Analytics in Enterprise Finance [0.0]
  本稿では, 企業財務における検索強化世代を, 精度とともに監査可能性に基づいて評価すべきである,と論じる。 オントロジー駆動の知識システムを構築するKDAF(Knowledge-Driven Analytics Framework)を6つの反復的な段階を通じて紹介する。 FinanceBench (145 質問) の評価では、KDAF をゼロコンテキスト推論、BM25、概念重み付き語彙検索、非接地グラフトラバーサルと比較する。
  論文  参考訳（メタデータ） (2026-08-21T01:35:34Z)
• V-FiLLM: Verified Financial LLM Reasoning Benchmark [0.37189423451031356]
  V-FiLLMは,実テーブルに接地した計算木から金銭的推論ベンチマークを生成するフレームワークである。 V-FiLLMは計算深度、表現幅、財務概念の複雑さ、コンテキストサイズなど、独立に制御可能な4つの困難軸を公開する。 検証された連鎖トレースの軽量なLoRA微調整により、ホールドアウト問題において81.1%から85.6%の精度が向上することを示す。
  論文  参考訳（メタデータ） (2026-08-11T15:18:47Z)
• Diagnosing Fine-Grained Inconsistency Classification in Financial Disclosure Text [3.2712318205295907]
  財務情報開示には、数値的なクレーム、時間的ステートメント、エンティティ参照、ポリシーのコミットメント、そして質的に異なる方法で衝突する可能性のあるリスク記述が含まれる。 我々はこの問題をきめ細かい矛盾として研究する。 微調整された300Mエンコーダの精度は61.9%、ロラ適応型Qwen3.5-9Bモデルでは61.5%、GPT適応型生成モデルでは61.3%である。
  論文  参考訳（メタデータ） (2026-07-29T01:03:53Z)
• AgentFinVQA: A Deployable Multi-Agent Pipeline for Auditable Financial Chart QA [7.135926644099901]
  我々はAgentFinVQAを提案する。AgentFinVQAはマルチエージェントパイプラインで、各クエリをプランニング、OCR、レジェンドグラウンド、ビジュアルインスペクション、検証に分解する。 FinMMEでは、AgentFinVQAはプロプライエタリなバックボーンを持つゼロショットベースラインにマッチするプライマリバックボーンよりも$+7.68$ ppを改善している。 誤り分析は、疑問の誤解、伝説の混乱、抽出誤りが失敗の3分の2近くを占めていることを示している。
  論文  参考訳（メタデータ） (2026-06-18T04:33:07Z)
• FinVerBench: Benchmark Validity and Calibration in Large Language Model Financial Statement Verification [0.0]
  FinVerBenchは、ファイナンシャルステートメント検証のためのベンチマークおよび妥当性調査である。 SEC 10-K の S&P 500 社への提出書類から作成されている。
  論文  参考訳（メタデータ） (2026-05-28T08:30:15Z)
• Agentic Proving for Program Verification [44.663012714194025]
  エージェントシステムは、形式数学における自動定理証明のための最先端のアプローチとして登場した。 検証可能なコード生成のためのLean 4ベンチマークであるCLEVERのエージェント証明フレームワークでClaude Codeを評価した。
  論文  参考訳（メタデータ） (2026-05-22T15:41:27Z)
• Replayable Financial Agents: A Determinism-Faithfulness Assurance Harness for Tool-Using LLM Agents [0.7699235580548228]
  LLMエージェントは、規制監査のリプレイに苦労する: トランザクションフラグ付き決定を同じ入力で再現するように要求された場合、ほとんどのデプロイメントは一貫性のある結果を返すことができません。 本稿では,金融サービスに展開するツール利用エージェントにおけるトラジェクティブ決定性およびエビデンス条件の忠実度を測定するためのフレームワークであるDFAHを紹介する。
  論文  参考訳（メタデータ） (2026-01-17T19:47:55Z)
• SSR: Safeguarding Staking Rewards by Defining and Detecting Logical Defects in DeFi Staking [55.62033436283969]
  DeFi(Decentralized Finance)の買収は、DeFiエコシステムにおける最も顕著なアプリケーションの1つだ。 DeFiの盗難の論理的欠陥により、攻撃者は不当な報酬を請求できる。 我々は,DeFi取引契約における論理的欠陥を検出するための静的解析ツールであるSSR(Safeguarding Stake Reward)を開発した。
  論文  参考訳（メタデータ） (2026-01-09T15:01:41Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
  近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。 因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
  論文  参考訳（メタデータ） (2025-09-24T13:06:35Z)
• AGENTICT$^2$S:Robust Text-to-SPARQL via Agentic Collaborative Reasoning over Heterogeneous Knowledge Graphs for the Circular Economy [42.73610751710192]
  AgenticT$2$Sは、知識グラフを専門エージェントが管理するサブタスクに分解するフレームワークである。 2段階検証器は、構造的に無効で意味的に不特定なクエリを検出する。 実世界の循環経済の実験では、AgenticT$2$Sが実行精度を17.3%向上することを示した。
  論文  参考訳（メタデータ） (2025-08-03T15:58:54Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。