論文の概要: TreasuryQA Bench: Can AI Agents Work an Archive of Scanned Financial Records?
- arxiv url: http://arxiv.org/abs/2610.38924v1
- Date: Wed, 28 Oct 2026 21:17:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.009614
- Title: TreasuryQA Bench: Can AI Agents Work an Archive of Scanned Financial Records?
- Title（参考訳）: TreasuryQA Bench:AIエージェントはスキャンされた財務記録のアーカイブを使えるか?
- Abstract要約: 我々は、米国財務省がスキャンした1,435件の米国財務省出版物に対して70の質問をしなければならない財務省のベンチを紹介します。
各タスクにおいて、エージェントは、DropboxのMPPサーバを介して関連するファイルを検索し、ReducetoのホストするOCRサーバまたは自身のツールで必要なページを読み出し、1つの正確な数字で返信する。
本稿では,10エージェントの結果を紹介する。最高のClaude Opus 5.5はClaude Codeの64.8%,最悪のGPT-5.6Terraは16.7%である。
- 参考スコア（独自算出の注目度）: 8.26112859764927
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Organisations keep decades of financial records as scanned PDFs on shared drives, and AI agents can now reach those drives through Model Context Protocol (MCP) servers. Existing benchmarks do not mirror this production setting because they simplify the task. In some, the relevant documents are handed to the agent, so it never has to search. In others, the agent searches through documents with pre-extracted text, so it never has to read scanned images. We introduce TreasuryQA Bench, which requires both: 70 questions over 1,435 scanned U.S. Treasury publications, held in Veris's high-fidelity Dropbox twin. In each task the agent searches for the relevant file through Dropbox's MCP server, reads the pages it needs with Reducto's hosted OCR server or its own tools, and replies with one exact figure. A Python grader checks each answer against an accepted range around the correct value. In this paper we present results from ten agents. The best, Claude Opus 5.5 in Claude Code, solves 64.8% of attempts and the worst, GPT-5.6 Terra in Codex, solves 16.7%, so the benchmark is far from saturated. We also test how scan quality affects performance: every agent solves fewer tasks on the blurriest scans. Most failed attempts reply with a wrong number rather than no number, and the most common cause is a digit misread from the scan. Three worked examples are included with their answer keys.
- Abstract（参考訳）: 組織は、共有ドライブ上でスキャンされたPDFとして何十年もの財務記録を保持し、AIエージェントがモデルコンテキストプロトコル(MCP)サーバを介してそれらのドライブに到達できるようになった。
既存のベンチマークは、タスクを単純化するため、このプロダクション設定を反映しません。
ある場合、関連する文書はエージェントに渡されるので、検索する必要は決してありません。
別の例では、エージェントは事前に抽出されたテキストで文書を検索するので、スキャンされた画像を読む必要がない。
1,435件をスキャンした米国財務省の出版物に対する70の質問が、Verisの高忠実なDropboxツインで行われました。
各タスクにおいて、エージェントは、DropboxのMPPサーバを介して関連するファイルを検索し、ReducetoのホストするOCRサーバまたは自身のツールで必要なページを読み出し、1つの正確な数字で返信する。
Pythonグレーダは、正しい値の周りの許容範囲に対して各回答をチェックする。
本稿では,10人のエージェントによる結果について述べる。
Claude CodeのClaude Opus 5.5は64.8%の試行を解き、最悪の GPT-5.6 Terra は16.7%を解いたため、ベンチマークは飽和には程遠い。
スキャンの品質がパフォーマンスにどのように影響するかもテストしています。
失敗したほとんどの試みは、番号がないのではなく間違った番号で応答し、最も一般的な原因はスキャンからの数字の誤読である。
回答キーには3つの例が含まれている。
関連論文リスト
- Beyond fabrication: Misattributed numbers in papers written by AI research agents [0.0]
我々は、最近公開されたAI研究エージェントの公開ベンチマークから、540件の判決を再分析した。
本稿では, 周辺文脈が主張結果を識別するか否かをスコアする決定論的クレーム・ツー・エビデンス・チェッカーを提案する。
盲目のアノテーションに対して90%以上の精度でクレームを認証する。
論文 参考訳（メタデータ） (2026-10-28T18:57:54Z) - What the Author Wrote, What the Agent Reads: Silent Cue Loss in Enterprise Document Ingestion [2.332848751256598]
推論ではなく、摂取が、この信頼性を勝ち取るか、失うかを示す。
エージェントビルダーにとっての実践的な発見は、推論ではなく、インジェクションが、この信頼性を勝ち取り、失う場所であるということだ。
論文 参考訳（メタデータ） (2026-10-21T16:51:25Z) - FrontierCS 2: A Benchmark for Computer Science R&D [127.13977721494204]
我々は48のオープンエンドタスクのベンチマークであるFrontierCS 2を紹介する。
私たちは、論文とその著者がリリースしたコードを取り、論文の貢献を削除します。
それぞれのパッチに対して、審査員は開発適格スコアを返すが、評価者、保持された最終スイート、参照プライベートを保持する。
論文 参考訳（メタデータ） (2026-10-21T16:04:27Z) - CompLit: Scientific Literature Search Benchmarks Must Cover Implicit, Cumulative, and Unmet Needs [63.34531020584071]
CompLitは8つのarXivドメインにまたがる文献検索ベンチマークである。
あらゆるドメインにエージェントは存在せず、2019年か2023年以降の論文では、すべてが正確ではない。
CompLitをうまく利用することは、必要な紙を見つけるために信頼できるエージェントへのステップであり、誰も存在しないことを教えてくれます。
論文 参考訳（メタデータ） (2026-10-10T05:37:30Z) - Agents That Edit Documents: Measuring Agentic PDF Forgery Against a Non-Agentic Control [12.307366979757065]
AgentForge-Benchは、市販のコーディングエージェントがいかにドルを変更できるかを確実に測定する。
モデルを持たない決定論的スクリプトは125の文書の98を解き、エージェントは124を解き、スクリプトは単独で解決する。
エージェントは間違った編集の41%を誤って報告し、モデルは拒否されず、最も安い検証された偽造品は2.4セントだった。
論文 参考訳（メタデータ） (2026-09-20T23:54:38Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - Bridge Evidence: Static Retrieval Utility Does Not Predict Causal Utility in Multi-Step Agentic Search [3.976291254896486]
検索システムは、有用性の静的なアイデアに基づいて訓練され、評価される。
言語モデルが検索エージェントとして機能し、いくつかのクエリを発行し、ターンにまたがる推論を行うとき、それは壊れる。
私たちは1000の開発質問をリプレイし、エージェントが読んだすべてのドキュメントに対して、それを削除し、その時点から残りのトラジェクトリを再実行します。
論文 参考訳（メタデータ） (2026-07-16T17:48:29Z) - AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning [52.23991730630292]
大規模言語モデルは、パラメトリックな知識から答えるのではなく、文書を推論するエージェントとして、ますます多くデプロイされている。
大規模な、散らかった職場ファイルの集合にスパース証拠を配置し、一貫性のない用語、単位、時間規則を調整し、答えを計算する。
私たちは、362の質問と9,664の認証ドキュメントと372Mのトークンの8つのドメインコレクションをペアリングするベンチマークであるAgoraを紹介します。
論文 参考訳（メタデータ） (2026-06-23T12:57:18Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。