論文の概要: FinancialAuditBench: Benchmark Construction under Differential Privacy Using Real-World Priors

• arxiv url: http://arxiv.org/abs/2609.32835v1
• Date: Sat, 26 Sep 2026 18:07:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 19:47:38.1981
• Title: FinancialAuditBench: Benchmark Construction under Differential Privacy Using Real-World Priors
• Title（参考訳）: FinancialAuditBench: リアルタイムプライオリティを使用した差分プライバシ下でのベンチマーク構築
• Abstract要約: ファイナンシャルアウディベンチ(FinancialAuditBench)は、ファイナンシャルステートメント監査タスクにおけるエージェントの評価のためのベンチマークである。 FinancialAuditBenchは、ワークペーパーの完成と6つの総合的な監査エンゲージメントのレビューにまたがる90のタスクで構成されている。 我々のフレームワークは、プライバシに敏感なドメインにおけるモデル評価とトレーニングのための合成タスクを体系的に生成するためのアプローチを提供する。
• 参考スコア（独自算出の注目度）: 40.32980342691376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As AI agents are becoming widely adopted in the financial services industry, careful measurement is essential to understand where they can be reliably deployed and where oversight and professional review remain necessary. Such measurement, however, is constrained by limited access to proprietary or privacy-sensitive data. Existing benchmarks therefore often rely on publicly available data, human- and/or LLM-authored tasks, or simplified settings. We introduce FinancialAuditBench, a benchmark for evaluating agents on financial statement audit tasks, along with a framework for systematically generating synthetic engagements. Our task generation framework leverages differentially private aggregate statistics from historical audits along with audit expertise contributed through over 1,100 hours of benchmark development and review. FinancialAuditBench consists of 90 tasks spanning workpaper completion and review across six synthetic audit engagements, each containing an average of 179 files. Evaluation on eleven frontier models shows that while agents complete substantial portions of staff-level audit tasks well, they sometimes perform inappropriate procedures or produce incorrect documentation. Beyond financial auditing, our framework offers an approach for systematically generating synthetic tasks for model evaluation and training in privacy-sensitive domains.
• Abstract（参考訳）: AIエージェントは金融サービス業界で広く採用されているため、確実にデプロイできる場所と、監視と専門的なレビューが必要な場所を理解するためには、慎重な測定が不可欠である。 しかし、そのような測定は、プロプライエタリまたはプライバシに敏感なデータへのアクセスに制限されている。 そのため、既存のベンチマークは、一般に利用可能なデータ、人間やLLMが認可したタスク、または単純化された設定に依存していることが多い。 ファイナンシャルアウディベンチ(FinancialAuditBench)は、ファイナンシャルステートメント監査タスクにおけるエージェントの評価のためのベンチマークであり、合成エンゲージメントを体系的に生成するフレームワークである。 タスク生成フレームワークは,ベンチマーク開発とレビューに1,100時間以上費やした監査の専門知識とともに,履歴監査からの差分プライベートアグリゲーション統計を利用する。 FinancialAuditBenchは、ワークペーパーの完成と6つの総合的な監査エンゲージメントにまたがる90のタスクで構成されており、それぞれが平均179のファイルを含んでいる。 11のフロンティアモデルの評価は、エージェントがスタッフレベルの監査タスクのかなりの部分を適切に完了している一方で、不正な手続きや不正なドキュメントを作成することがあることを示している。 ファイナンシャル監査以外にも、プライバシに敏感なドメインにおけるモデル評価とトレーニングのための合成タスクを体系的に生成するためのアプローチを提供する。

関連論文リスト

• FORCE-Bench: A Benchmark, Dataset, and Evaluation Harness for Agentic AI in Enterprise Finance [0.0]
  本稿では,251のエキスパートアノテートクエリを含むForce-Benchを紹介し,キャリブレーションベースのフレームワークを用いて応答を評価する。 FORCE-Benchは、金融義務研究、金融エンティティパフォーマンス研究、ビジネスブリーフジェネレーションの3つのタスクタイプでエージェントシステムを評価する。 我々は、再現可能な比較と他の企業財務環境への適応をサポートするために、データセット、ルーリック、ハーネス、分析コードをオープンソースとしてリリースします。
  論文  参考訳（メタデータ） (2026-07-11T01:16:31Z)
• Automated Benchmark Auditing for AI Agents and Large Language Models [46.03841647776303]
  Auto Benchmark Audit (ABA)は、個々のベンチマークタスクを体系的に監査するエージェントフレームワークである。 私たちは、9つのドメインで合計168のベンチマークで、Frontier LLMベンチマークと以前のNeurIPSパブリッシュのコレクションでABAを実行しています。 ABAは、不明瞭なタスク設計、実行環境の矛盾、そして、評価されたタスクの25.7%以上において、誤った根拠の真実を含む重要な問題を特定する。
  論文  参考訳（メタデータ） (2026-05-25T17:44:21Z)
• Herculean: An Agentic Benchmark for Financial Intelligence [114.33879935277217]
  代表的な4つのスキルセットにまたがるエージェント金融インテリジェンスのための最初の熟練したベンチマークであるHerculeanを紹介します。 フェデラーエージェント全体では、TradingやMarket Insightsではエージェントが比較的うまく機能するが、HedgingやAuditingではかなり苦労している。 全体としては、財務的推論を信頼性のあるワークフロー実行に変換する上で、現在のエージェントに重要なギャップがあることを示している。
  論文  参考訳（メタデータ） (2026-05-14T04:30:49Z)
• AI Agents-as-Judge: Automated Assessment of Accuracy, Consistency, Completeness and Clarity for Enterprise Documents [0.0]
  本研究では,AIエージェントを用いた高度に構造化された企業文書の自動レビューのためのモジュール型マルチエージェントシステムを提案する。 LangChain、CrewAI、TruLens、Guidanceといった現代的なオーケストレーションツールを使用して、文書のセクション単位での評価を可能にする。 99%の情報一貫性(人間の場合は92%)を実現し、エラーとバイアス率を半減させ、1文書あたりの平均レビュー時間を30分から2.5分に短縮する。
  論文  参考訳（メタデータ） (2025-06-23T17:46:15Z)
• Automating Financial Statement Audits with Large Language Models [8.568971444669868]
  ファイナンシャルステートメント監査を自動化するために,大規模言語モデル(LLM)を活用している。 本研究は、実世界の財務表と合成トランザクションデータを組み合わせた、キュレートされたデータセットを用いたベンチマークを提案する。 我々のテストでは、現在最先端のLLMが、過去のトランザクションデータを与えられたときの財務諸表の誤りを識別することに成功した。
  論文  参考訳（メタデータ） (2025-06-14T17:07:06Z)
• Auditing and Generating Synthetic Data with Controllable Trust Trade-offs [54.262044436203965]
  合成データセットとAIモデルを包括的に評価する総合監査フレームワークを導入する。 バイアスや差別の防止、ソースデータへの忠実性の確保、実用性、堅牢性、プライバシ保護などに焦点を当てている。 多様なユースケースにまたがる様々な生成モデルを監査することにより,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-04-21T09:03:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。