論文の概要: OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning
- arxiv url: http://arxiv.org/abs/2603.08655v1
- Date: Mon, 09 Mar 2026 17:34:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-10 15:13:16.611007
- Title: OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning
- Title（参考訳）: OfficeQA Pro: エンドツーエンドのグラウンド推論のためのエンタープライズベンチマーク
- Abstract要約: 我々は、基礎化されたマルチドキュメント推論に基づいてAIエージェントを評価するベンチマークであるOfficeQA Proを紹介する。
OfficeQA Proは、正確な文書解析、検索、分析的推論を必要とする133の質問からなる。
Databricksのai_parse_documentによって生成された構造化文書表現をエージェントに提供すると、平均相対的なパフォーマンスが16.1%向上することがわかった。
- 参考スコア（独自算出の注目度）: 34.493139441463995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce OfficeQA Pro, a benchmark for evaluating AI agents on grounded, multi-document reasoning over a large and heterogeneous document corpus. The corpus consists of U.S. Treasury Bulletins spanning nearly 100 years, comprising 89,000 pages and over 26 million numerical values. OfficeQA Pro consists of 133 questions that require precise document parsing, retrieval, and analytical reasoning across both unstructured text and tabular data. Frontier LLMs including Claude Opus 4.6, GPT-5.4, and Gemini 3.1 Pro Preview achieve less than 5% accuracy on OfficeQA Pro when relying on parametric knowledge, and less than 12% with additional access to the web. When provided directly with the document corpus, frontier agents still struggle on over half of questions, scoring 34.1% on average. We find that providing agents with a structured document representation produced by Databricks' ai_parse_document yields a 16.1% average relative performance gain across agents. We conduct additional ablations to study the effects of model selection, table representation, retrieval strategy, and test-time scaling on performance. Despite these improvements, significant headroom remains before agents can be considered reliable at enterprise-grade grounded reasoning.
- Abstract（参考訳）: 我々は、大規模で異質なドキュメントコーパス上で、基盤化されたマルチドキュメント推論に基づいてAIエージェントを評価するためのベンチマークであるOfficeQA Proを紹介する。
コーパスは100年近くに及ぶ米国財務省のブルエティンから成り、89,000ページと2600万以上の数値で構成されている。
OfficeQA Proは、構造化されていないテキストと表データの両方にわたる正確な文書解析、検索、分析的推論を必要とする133の質問で構成されている。
Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro Preview などのフロンティアLSMは、パラメトリック知識に依存している場合、OfficeQA Pro の精度は5%以下であり、ウェブへの追加アクセスでは12%以下である。
文書のコーパスが直接提供されると、フロンティアのエージェントは質問の半分以上で苦労し、平均34.1%のスコアを得た。
Databricksのai_parse_documentによって生成された構造化文書表現をエージェントに提供すると、エージェント間での平均相対的なパフォーマンスが16.1%向上することがわかった。
モデル選択,表表現,検索戦略,テストタイムスケーリングがパフォーマンスに与える影響について検討する。
これらの改善にもかかわらず、エージェントがエンタープライズグレードの根拠に基づく推論で信頼できると考えられる前に、重要なヘッドルームが残っている。
関連論文リスト
- Deep Academic Survey: Stateful Agentic Closed-Loop Paradigm for Academic Survey Automation [60.151050016855834]
DASは出版指向の学術調査を作成するためのステートフルなエージェント・フレームワークである。
その鍵となる考え方は、再利用可能な紙分析とトピック固有の原稿構築を分離することである。
DASは4つの次元で最高点に達し、総合スコアは4.34であり、最強の競争相手は4.03である。
論文 参考訳（メタデータ） (2026-08-18T17:29:00Z) - VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳（メタデータ） (2026-08-18T15:23:06Z) - XL-DocBench: Benchmarking Evidence-Grounded Extra-Long Document Understanding [66.6175918865927]
XL-DocBenchは、超長期文書理解のための完全に人間検証されたベンチマークである。
1,519人は6つの専門ドメインと2,303ページまでのコンテキストからの質問を保持した。
各質問には、12の推論ラベル、専門家による注釈付きエビデンスページ、型付き検証ルール、回答フォーマットの1つがある。
論文 参考訳（メタデータ） (2026-07-21T09:38:24Z) - GDP.pdf: Benchmarking Grounded Multimodal Reasoning over Professional PDF Documents [0.12430801435092285]
GDP_pdfは、ドキュメントAI機能を直接測定するベンチマークである。
これは10分野の作業専門家によって書かれた質問文書対で構成されている。
100-itemベンチマークで17のフロンティアモデルの結果を報告する。
論文 参考訳（メタデータ） (2026-07-13T07:44:07Z) - LLM-Guided Planning for Multi-hop Reasoning over Multimodal Nuclear Regulatory Documents [2.3651168422805027]
エージェントはこれまでに収集された証拠を観察し、検査のために次の文書の断片を選び、証拠が十分であれば停止する。
このエージェントは、閲覧、読み、検索ツールを使用してベクトルレス文書ツリー上で動作し、動的知識グラフ(KG)を状態として保持する。
NuScale Final Safety Analysis Report (FSAR) の文書に対する200クエストベンチマークでは、システムは81.5%の精度で0.93の忠実さを達成している。
論文 参考訳（メタデータ） (2026-06-28T13:45:59Z) - Office Comprehension Benchmark [5.899398660180204]
Office Bench(OCB)は、Word、Excel、PowerPointのネイティブファイルフォーマットに対する理解を共同で評価する最初の公開ベンチマークである。
ファイルフィデリティQ&Aテスト オフィスアーティファクトの構造と視覚的認識 - テーブル、チャート、埋め込み画像、公式、およびヘッダ、スピーカーノート、名前付き範囲といったアプリ固有の要素。
デフォルトの推論モードで最強のフロンティアシステムでさえ、ドメインQ&Aで約59.3%に達する。
論文 参考訳（メタデータ） (2026-05-29T03:19:32Z) - Frontier Lag: A Bibliometric Audit of Capability Misrepresentation in Academic AI Evaluation [0.0]
テストモデルとEpoch AI能力指数の同時フロンティアを比較した。
これらの回答のギャップは、+5.53 ECI/年で拡大している。
提案されている改善には、APIアクセス助成金と報告フレームワークの編集執行が含まれる。
論文 参考訳（メタデータ） (2026-05-05T17:58:35Z) - ResearchGym: Evaluating Language Model Agents on Real-World AI Research [48.46915933681714]
我々は、エンドツーエンドの研究においてAIエージェントを評価するためのベンチマークおよび実行環境であるResearchGymを紹介する。
これを実現するために,ICML,ICLR,ACLの5つの口頭およびスポットライト論文を再利用した。
GPT-5を動力とするエージェントの制御評価において、我々は鋭い能力-信頼性ギャップを観察する。
論文 参考訳（メタデータ） (2026-02-16T19:00:03Z) - RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。
我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
論文 参考訳（メタデータ） (2026-01-14T11:37:00Z) - Gavel: Agent Meets Checklist for Evaluating LLMs on Long-Context Legal Summarization [10.935436958494245]
大規模言語モデル(LLM)は、最大100万個のトークンのコンテキストをサポートするようになったが、複雑な長文タスクにおけるそれらの有効性はまだ不明である。
本研究は,100K-500Kトークンの多文書にまたがる多文書の判例要約について検討する。
本稿では,26項目以上の多値チェックリスト評価を行う参照ベース評価フレームワークであるGavel-Refを紹介する。
論文 参考訳（メタデータ） (2026-01-07T22:08:17Z) - DocReward: A Document Reward Model for Structuring and Stylizing [107.03974018371058]
DocRewardはドキュメントの構造とスタイルに基づいてドキュメントを評価するドキュメント報酬モデルである。
ブラッドリー・テリーの損失を利用して文書を採点し、注釈付きランキングに矛盾する予測を罰する訓練を受けている。
GPT-5の37.7%の勝利率に比べて60.8%の勝利率を達成した。
論文 参考訳（メタデータ） (2025-10-13T13:36:32Z) - QUEST: Quality-aware Semi-supervised Table Extraction for Business Documents [0.1516287840715525]
QUESTはビジネス文書のための品質対応の半教師付きテーブル抽出フレームワークである。
QUESTは、信頼度基準に頼るのではなく、F1スコアを予測するために訓練された抽出テーブルの構造的特徴と文脈的特徴を評価する。
論文 参考訳（メタデータ） (2025-06-17T14:25:44Z) - SciSage: A Multi-Agent Framework for High-Quality Scientific Survey Generation [2.985620880452744]
SciSageはリフレクション・ワン・ユー・ライト・パラダイムを使ったマルチエージェント・フレームワークである。
アウトライン、セクション、ドキュメントレベルでのドラフトを批判的に評価し、クエリの解釈、コンテンツ検索、洗練のための特別なエージェントと協調する。
また、11のコンピュータサイエンス領域にわたる46のハイインパクト論文(2020-2025)のベンチマークであるSurveyScopeをリリースしています。
論文 参考訳（メタデータ） (2025-06-15T02:23:47Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳（メタデータ） (2024-07-16T17:58:27Z) - DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。
State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。
提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
論文 参考訳（メタデータ） (2023-05-23T10:39:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。