論文の概要: FORCE-Bench: A Benchmark, Dataset, and Evaluation Harness for Agentic AI in Enterprise Finance
- arxiv url: http://arxiv.org/abs/2607.19409v1
- Date: Sat, 11 Jul 2026 01:16:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.153774
- Title: FORCE-Bench: A Benchmark, Dataset, and Evaluation Harness for Agentic AI in Enterprise Finance
- Title（参考訳）: FORCE-Bench: 企業財務におけるエージェントAIのベンチマーク、データセット、評価のハーネス
- Abstract要約: 本稿では,251のエキスパートアノテートクエリを含むForce-Benchを紹介し,キャリブレーションベースのフレームワークを用いて応答を評価する。
FORCE-Benchは、金融義務研究、金融エンティティパフォーマンス研究、ビジネスブリーフジェネレーションの3つのタスクタイプでエージェントシステムを評価する。
我々は、再現可能な比較と他の企業財務環境への適応をサポートするために、データセット、ルーリック、ハーネス、分析コードをオープンソースとしてリリースします。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in large language models have accelerated deployment of agentic systems in operational finance. Existing benchmarks emphasize measuring general capabilities, instruction following, or safety, but few directly address the operational finance workflows that agentic systems are now being deployed to automate. Finance professionals require agents to not only provide factually sound and properly grounded information, but also ensure that this information is verifiable and consistently adheres to rules and constraints of the operational finance domain. We introduce FORCE-Bench, which contains 251 expert-annotated queries and evaluates responses using a rubric-based framework calibrated to the requirements of the operational finance domain, across eight dimensions: accuracy, citations, clarity, depth, groundedness, recency, relevance, and structure. FORCE-Bench assesses agentic systems on three task types: financial obligation research (querying ERP systems for accounts receivable and payable data), financial entity performance research (answering time-bound questions from public filings and market data), and business brief generation (synthesising multi-source company intelligence reports). To reflect real deployment conditions, we evaluate our purpose-built agent, as well as the general-purpose agentic systems, under common tool access and latency-bounded settings. Results show that general-purpose agentic systems do not consistently meet finance-domain quality requirements under operational constraints, while the purpose-built Finance Agent for Microsoft 365 Copilot is more reliable across dimensions. We release the dataset, rubrics, harness, and analysis code as open-source to support reproducible comparison and adaptation to other enterprise finance environments.
- Abstract（参考訳）: 大規模言語モデルの最近の進歩は、運用金融におけるエージェントシステムの展開を加速させている。
既存のベンチマークでは、一般的な機能、命令追従、安全性の計測に重点を置いているが、エージェントシステムが自動化するためにデプロイされている運用金融ワークフローに直接対処する人は少ない。
金融専門家は、エージェントに対して、事実的に健全で適切な根拠のある情報を提供するだけでなく、この情報が検証可能であり、運用金融領域の規則や制約に一貫して従うことを保証することを要求する。
本稿では,251のエキスパートアノテートクエリを含むForce-Benchを紹介し,運用財務領域の要件に合わせて調整されたルーリックベースのフレームワークを用いて,精度,引用,明度,深さ,接地性,相対性,構造といった8次元の応答を評価する。
FORCE-Benchは3つのタスクタイプでエージェントシステムを評価している。金融義務調査(口座の受取可能および支払可能なデータに対するERPシステムの問い合わせ)、金融エンティティのパフォーマンス調査(公開申請や市場データからのタイムバウンドな質問の回答)、ビジネス・ブリーフィング・ジェネレーション(マルチソース企業のインテリジェンス・レポートの合成)である。
実際のデプロイ条件を反映するために,汎用エージェントシステムと同様に,汎用エージェントシステムも共通ツールアクセスと遅延バウンド設定で評価する。
その結果,汎用エージェントシステムは運用上の制約下での財務領域の品質要件を一貫して満たさないことが明らかとなった。
我々は、再現可能な比較と他の企業財務環境への適応をサポートするために、データセット、ルーリック、ハーネス、分析コードをオープンソースとしてリリースします。
関連論文リスト
- Herculean: An Agentic Benchmark for Financial Intelligence [114.33879935277217]
代表的な4つのスキルセットにまたがるエージェント金融インテリジェンスのための最初の熟練したベンチマークであるHerculeanを紹介します。
フェデラーエージェント全体では、TradingやMarket Insightsではエージェントが比較的うまく機能するが、HedgingやAuditingではかなり苦労している。
全体としては、財務的推論を信頼性のあるワークフロー実行に変換する上で、現在のエージェントに重要なギャップがあることを示している。
論文 参考訳（メタデータ） (2026-05-14T04:30:49Z) - $τ$-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge [58.03692489021332]
$-Knowledgeは、外部の自然言語知識とツール出力の協調に依存する環境でエージェントを評価するための$-Benchの拡張である。
我々は、$$-Knowledgeが、非構造的知識を人間対応デプロイメントに組み込むエージェントを開発するための、現実的なテストベッドを提供することを示した。
論文 参考訳（メタデータ） (2026-03-04T18:34:47Z) - FinSight: Towards Real-World Financial Deep Research [68.31086471310773]
FinSightは、高品質でマルチモーダルな財務報告を作成するための新しいフレームワークである。
プロフェッショナルグレードの可視化を確保するため,反復視覚強調機構を提案する。
2段階のBinging Frameworkは、簡潔な分析セグメントをコヒーレント、引用認識、マルチモーダルレポートに拡張する。
論文 参考訳（メタデータ） (2025-10-19T14:05:35Z) - Enhancing Financial RAG with Agentic AI and Multi-HyDE: A Novel Approach to Knowledge Retrieval and Hallucination Reduction [0.5814806132299305]
我々は、金融レトリヴァル強化世代(RAG)のための枠組みを導入する。
RAGは、大規模で構造化された財務コーパスからの検索の有効性とカバレッジを高めるために、複数の無意味なクエリを生成する。
私たちのパイプラインはトークン効率と多段階の財務推論に最適化されています。
論文 参考訳（メタデータ） (2025-09-19T19:24:30Z) - FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。
このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。
我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
論文 参考訳（メタデータ） (2025-08-07T22:15:22Z) - Agentar-Fin-R1: Enhancing Financial Intelligence through Domain Expertise, Training Efficiency, and Advanced Reasoning [12.548390779247987]
本稿では,Agensar-Fin-R1シリーズを紹介する。
我々の最適化手法は、高品質で体系的な金融タスクラベルシステムを統合する。
われわれのモデルは、主要な金融指標を総合的に評価している。
論文 参考訳（メタデータ） (2025-07-22T17:52:16Z) - FinS-Pilot: A Benchmark for Online Financial RAG System [21.64301644235658]
FinS-Pilotはオンライン金融アプリケーションにおけるRAGシステム評価のための新しいベンチマークである。
我々のベンチマークでは、インテント分類フレームワークによって編成されたリアルタイムAPIデータとテキストデータの両方が組み込まれている。
本研究は,金融NLPシステムの研究を進めるための,実践的評価フレームワークとデータセットの両立に寄与する。
論文 参考訳（メタデータ） (2025-05-31T03:50:19Z) - Structuring the Unstructured: A Multi-Agent System for Extracting and Querying Financial KPIs and Guidance [54.25184684077833]
構造化されていない財務文書から定量的な洞察を抽出する,効率的でスケーラブルな手法を提案する。
提案システムは,emphExtraction AgentとemphText-to-Agentの2つの特殊エージェントから構成される。
論文 参考訳（メタデータ） (2025-05-25T15:45:46Z) - FinDER: Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation [65.04104723843264]
ファイナンスにおけるRetrieval-Augmented Generation(RAG)に適したエキスパート生成データセットであるFinDERを提案する。
FinDERは、ドメインの専門家による検索関連証拠の注釈付けに重点を置いており、5,703のクエリ・エビデンス・アンサー・トリプルを提供している。
大きなコーパスから関連する情報を取得するためにモデルに挑戦することで、FinDERはRAGシステムを評価するためのより現実的なベンチマークを提供する。
論文 参考訳（メタデータ） (2025-04-22T11:30:13Z) - FinSage: A Multi-aspect RAG System for Financial Filings Question Answering [10.953520766530005]
FinSageはマルチモーダルな事前処理パイプラインで、多様なデータフォーマットを統一し、メタデータの要約を生成する。
実験の結果、FinSageは75人の専門家による質問に対して92.51%の印象的なリコールを達成した。
FinSageは、すでに1200人以上が利用しているオンラインミーティングにおいて、財務的な質問応答エージェントとして成功している。
論文 参考訳（メタデータ） (2025-04-20T04:58:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。