論文の概要: Auditable by Construction: An Ontology-Driven Framework for Trustworthy LLM Analytics in Enterprise Finance
- arxiv url: http://arxiv.org/abs/2608.20661v1
- Date: Fri, 21 Aug 2026 01:35:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.337261
- Title: Auditable by Construction: An Ontology-Driven Framework for Trustworthy LLM Analytics in Enterprise Finance
- Title（参考訳）: Auditable by Construction: 企業財務における信頼できるLLM分析のためのオントロジー駆動フレームワーク
- Abstract要約: 本稿では, 企業財務における検索強化世代を, 精度とともに監査可能性に基づいて評価すべきである,と論じる。
オントロジー駆動の知識システムを構築するKDAF(Knowledge-Driven Analytics Framework)を6つの反復的な段階を通じて紹介する。
FinanceBench (145 質問) の評価では、KDAF をゼロコンテキスト推論、BM25、概念重み付き語彙検索、非接地グラフトラバーサルと比較する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enterprise adoption of large language models in finance is constrained less by fluency than by trust: in Financial Planning and Analysis (FP&A) and other regulated workflows, an answer is usable only if it is traceable to authoritative sources and auditable after the fact. This paper argues that retrieval-augmented generation for enterprise finance should be evaluated on auditability alongside accuracy, and presents the Knowledge-Driven Analytics Framework (KDAF), which builds ontology-driven knowledge systems through six iterative stages and retrieves evidence via Context-Aware Relevance Propagation (CARP), so that every retrieved fact carries its relationship type, confidence, and source lineage. An evaluation on FinanceBench (145 questions) compares KDAF against zero-context inference, BM25, concept-weighted lexical retrieval, and ungrounded graph traversal. First, retrieval is necessary: zero-context inference reaches 4.1% correctness against 10-12% for retrieval-augmented conditions. Second, on answer correctness the retrieval conditions are statistically indistinguishable (KDAF vs BM25: -0.007, 95% CI [-0.021, 0.000]), so accuracy alone does not justify structured retrieval here -- a negative result we report explicitly. Third, on auditability the ordering reverses: KDAF attains the highest citation traceability F1 (0.515), exceeding ungrounded traversal by +0.027 (CI [0.006, 0.050]) and BM25 by +0.052 (CI [0.024, 0.083]), intervals excluding zero. Graph-structured retrieval also admits no evidence from outside the question subject entity (0 of 426 items, against 16.8% and 20.2% for lexical baselines), and every selected item resolves to a complete provenance chain. We argue that auditability, not accuracy, is the axis on which ontology-grounded retrieval earns its cost.
- Abstract（参考訳）: 金融計画と分析(FP&A)や他の規制されたワークフローにおいて、回答は権威のある情報源にトレース可能で、その後監査可能である場合に限られる。
本稿では、企業財務の検索強化世代を、精度とともに監査性に基づいて評価し、オントロジー駆動型知識システムを構築する知識駆動分析フレームワーク(KDAF)を6つの反復段階を通じて提示し、コンテキスト認識関連性伝播(CARP)を介して証拠を検索し、検索された事実が関係タイプ、信頼度、ソースの系統を持つようにする。
FinanceBench (145 質問) の評価では、KDAF をゼロコンテキスト推論、BM25、概念重み付き語彙検索、非接地グラフトラバーサルと比較する。
まず、検索が必要である: ゼロコンテキスト推論は、検索拡張条件に対して10-12%に対して4.1%の正確性に達する。
第二に、回答の正しさについて、検索条件は統計的に区別できない(KDAF vs BM25:-0.007, 95% CI [-0.021, 0.000])ので、精度だけでは構造化された検索を正当化しない。
第3に、オーディショナビリティ上の順序は逆である: KDAFは、ゼロを除く区間を+0.027 (CI [0.006, 0.050])、BM25 (CI [0.024, 0.083]) で+0.052 (CI [0.024, 0.083]) で超える、最も高い引用トレーサビリティ F1 (0.515) を達成する。
グラフ構造化検索は、質問対象の外部からの証拠(語彙ベースラインの16.8%、20.2%に対して426項目中0)も認めていない。
オーディショナビリティは正確ではなく,オントロジーに基づく検索がコストを得る軸である,と我々は主張する。
関連論文リスト
- FinRCA-Bench: Benchmarking Evidence Retrieval and Reasoning for Financial AI Systems [0.0]
FinRCA-Benchは、14の運用テーブルにまたがる2250の口座支払い可能な銀行間和解ケースのベンチマークである。
その結果,構造的検索の失敗は,95～15の精度で推理的検索の失敗をはるかに上回っていることがわかった。
FinRCA-Benchでは、検索アーキテクチャがAIシステムの性能を強く観察し、ルート原因ラベルは聴覚診断の弱いプロキシである。
論文 参考訳（メタデータ） (2026-08-19T04:36:01Z) - ReliableTableQA:How Much Supervision Does Reliability Annotation Need? [1.3152347996965301]
本稿では,LCMをトレーニングするフレームワークであるReliableTableQAを紹介し,QA結果の統計的信頼性について解説する。
我々は信頼できない信頼回答率(UCAR)を定量化し、信頼できない信頼回答率(UCAR)として定量化する。
本研究は, 信頼性アノテーションをデータ効率問題として再設定し, 強化微調整を行ない, 返済しない場合に正確に記述する。
論文 参考訳（メタデータ） (2026-07-10T16:57:30Z) - ITPEval: Benchmarking Formal Translation Across Interactive Theorem Provers [77.95933562142014]
ITPEvalは、4つの主要なIPP間で自動形式証明翻訳を評価するための最初のベンチマークである。
itpevalは、状態が分離されたウォームバックエンドを備えた、統合されたマルチITP認証インフラストラクチャです。
論文 参考訳（メタデータ） (2026-07-07T22:05:55Z) - FinVerBench: Benchmark Validity and Calibration in Large Language Model Financial Statement Verification [0.0]
FinVerBenchは、ファイナンシャルステートメント検証のためのベンチマークおよび妥当性調査である。
SEC 10-K の S&P 500 社への提出書類から作成されている。
論文 参考訳（メタデータ） (2026-05-28T08:30:15Z) - Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。
推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。
10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
論文 参考訳（メタデータ） (2026-05-08T07:08:25Z) - Replayable Financial Agents: A Determinism-Faithfulness Assurance Harness for Tool-Using LLM Agents [0.7699235580548228]
LLMエージェントは、規制監査のリプレイに苦労する: トランザクションフラグ付き決定を同じ入力で再現するように要求された場合、ほとんどのデプロイメントは一貫性のある結果を返すことができません。
本稿では,金融サービスに展開するツール利用エージェントにおけるトラジェクティブ決定性およびエビデンス条件の忠実度を測定するためのフレームワークであるDFAHを紹介する。
論文 参考訳（メタデータ） (2026-01-17T19:47:55Z) - All That Glisters Is Not Gold: A Benchmark for Reference-Free Counterfactual Financial Misinformation Detection [67.89888669159899]
RFC Benchは、現実的なニュースの下で財務的な誤情報に関する大規模な言語モデルを評価するためのベンチマークである。
このベンチマークでは、2つの補完的なタスクが定義されている。
論文 参考訳（メタデータ） (2026-01-07T18:18:28Z) - FinCARE: Financial Causal Analysis with Reasoning and Evidence [39.146761527401424]
Portfolioのマネージャは相関に基づく分析と、パフォーマンスを駆動する真の因果関係のキャプチャに失敗する手法に依存している。
本稿では,SEC 10-K の申請書から抽出した財務知識グラフと大規模言語モデル推論の2つの相補的な情報源から,統計的因果探索アルゴリズムとドメイン知識を統合するハイブリッドフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-23T05:14:28Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。
このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。
我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
論文 参考訳（メタデータ） (2025-08-07T22:15:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。