論文の概要: Benchmarking Complex Multimodal Document Processing Pipelines: A Unified Evaluation Framework for Enterprise AI

• arxiv url: http://arxiv.org/abs/2604.26382v1
• Date: Wed, 29 Apr 2026 07:48:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.301005
• Title: Benchmarking Complex Multimodal Document Processing Pipelines: A Unified Evaluation Framework for Enterprise AI
• Title（参考訳）: 複雑なマルチモーダル文書処理パイプラインのベンチマーク:エンタープライズAIのための統一評価フレームワーク
• Authors: Saurabh K. Singh, Sachin Raj,
• Abstract要約: 私たちはEnterpriseDocBenchを構築し、忠実さのパース、インデックス化の効率、検索の妥当性、生成の基盤化を推し進めました。 BM25、密封、ハイブリッドの3つのパイプラインを、すべて同じGPT-5ジェネレータで実行しました。 事実的正確性は85.5%だが、答えの完全性の平均は0.40である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Most enterprise document AI today is a pipeline. Parse, index, retrieve, generate. Each of those stages has been studied to death on its own -- what's still hard is evaluating the system as a whole. We built EnterpriseDocBench to take a swing at it: parsing fidelity, indexing efficiency, retrieval relevance, and generation groundedness, all on the same corpus. The corpus is built from public, permissively licensed documents across six enterprise domains (five represented in the current pilot). We ran three pipelines through it -- BM25, dense embedding, and a hybrid -- all with the same GPT-5 generator. The headline numbers: hybrid retrieval narrowly beats BM25 (nDCG@5 of 0.92 vs. 0.91), and both beat dense embedding (0.83). Hallucination doesn't grow monotonically with document length -- short documents and very long ones both hallucinate more than medium ones (28.1% and 23.8% vs. 9.2%). Cross-stage correlations are very weak: parsing->retrieval r=0.14, parsing->generation r=0.17, retrieval->generation 0.02. If quality were cascading the way most of us assume, those numbers would be much higher; they aren't. Design caveats are real (parsing fixed, generator shared, automated proxy metrics) and we don't oversell the result. One result that genuinely surprised us: factual accuracy on stated claims is 85.5%, but answer completeness averages 0.40. The system is right when it answers -- it just leaves things out. That gap matters more for real deployments than the headline accuracy number does. We also describe three reference architectures (ColPali, ColQwen2, agentic complexity-based routing) which are not yet integrated end-to-end. Framework, metrics, baselines, and collection scripts will be released open-source on acceptance.
• Abstract（参考訳）: 今日、ほとんどのエンタープライズドキュメントAIはパイプラインです。 Parse、インデックス、検索、生成。 それぞれのステージは、それ自体で – システム全体を評価することがまだ難しい – 検討されている – すべて同じコーパス上に、忠実さ、インデックスの効率性、検索関連性、ジェネレーション基盤を解析する、EnterpriseDocBenchを構築したのです。コーパスは、6つのエンタープライズドメイン(5つが現在のパイロットで表現されています)にまたがって、公に許可されたドキュメントから作られています。私たちは、BM25、密着型埋め込み、ハイブリッドの3つのパイプラインを実行し、すべて同じGPT-5ジェネレータで実行しました。 見出し番号:ハイブリッド検索はBM25(0.92対0.91対nDCG@5)をわずかに上回り、どちらも密埋め込み(0.83)を上回ります。 幻覚は文書の長さとともに単調に成長しない -- 短い文書と非常に長い文書はどちらも中程度(28.1%と23.8%対9.2%)以上の幻覚を引き起こす。 解析->検索型 r=0.14, 解析->生成型 r=0.17, 検索->生成型 0.02。 品質がほとんどの人が考えるようにカスケードしているなら、これらの数字はもっと高いでしょう。 設計上の注意事項は本物(固定、ジェネレータ共有、自動プロキシメトリクス)で、その結果を誇張していません。 事実的正確性は85.5%だが、答えの完全性の平均は0.40である。 システムは答えが正しければ正しいのです。 このギャップは、見出しの精度よりも実際のデプロイメントにとって重要である。 また、まだエンドツーエンドに統合されていない3つの参照アーキテクチャ(ColPali、ColQwen2、エージェント的複雑性ベースのルーティング)についても述べる。 フレームワーク、メトリクス、ベースライン、およびコレクションスクリプトは、受け入れに応じてオープンソースとしてリリースされる。

関連論文リスト

• Reducing Maintenance Burden in Behaviour-Driven Development: A Paraphrase-Robust Duplicate-Step Detector with a 1.1M-Step Open Benchmark [1.9537983097153042]
  振る舞い駆動開発スイートは、ドキュメント化されたメンテナンスコストとステップ重複の重複を蓄積します。 私たちはこれまでで最大の組織横断的なBDDステップコーパスをリリースします。
  論文  参考訳（メタデータ） (2026-04-22T11:44:05Z)
• The Amazing Agent Race: Strong Tool Users, Weak Navigators [27.24330141815882]
  LLMエージェントの既存のツール使用ベンチマークは圧倒的に線形である。 The Amazing Agent Race (AAR) は、有向非巡回グラフパズル(または「レッグ」)とフォークマージツールチェーンを特徴付けるベンチマークである。 シーケンシャル(800脚)とコンポジション(600DAG脚)の2つの変種にまたがる1,400のインスタンスをリリースする。
  論文  参考訳（メタデータ） (2026-04-11T15:58:29Z)
• ImpliRet: Benchmarking the Implicit Fact Retrieval Challenge [50.93758649363798]
  Impliretは、推論の課題をドキュメント側処理にシフトするベンチマークである。 我々は,この環境下で苦戦している,疎水・密集したレトリバーの幅を評価した。
  論文  参考訳（メタデータ） (2025-06-17T11:08:29Z)
• MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm [60.14048367611333]
  MonkeyOCRはドキュメント解析のためのビジョン言語モデルである。 SRR(Structure-Recognition-Relation)三重項パラダイムを活用することで、最先端の技術の進歩を図っている。
  論文  参考訳（メタデータ） (2025-06-05T16:34:57Z)
• DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
  我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。 State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。 提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
  論文  参考訳（メタデータ） (2023-05-23T10:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。