論文の概要: How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings
- arxiv url: http://arxiv.org/abs/2605.07492v1
- Date: Fri, 08 May 2026 09:30:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.960495
- Title: How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings
- Title（参考訳）: PureDocBench: クリーンで劣化した実世界の設定にまたがる、ソース追跡可能なベンチマーク
- Authors: Zhiheng Li, Zongyang Ma, Jiaxian Chen, Jianing Zhang, Zhaolong Su, Yutong Zhang, Zhiyin Yu, Ruiqi Liu, Xiaolei Lv, Bo Li, Jun Gao, Ziqi Zhang, Chunfeng Yuan, Bing Li, Weiming Hu,
- Abstract要約: 昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
- 参考スコア（独自算出の注目度）: 56.70440596502351
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The past year has seen over 20 open-source document parsing models, yet thefield still benchmarks almost exclusively on OmniDocBench, a 1,355-pagemanually annotated dataset whose top scores have saturated above 90%. Athree-stage audit pipeline we run on OmniDocBench screens its 21,353evaluator-scored blocks and confirms 2,580 errors (12.08%); combined with overa year of public availability, both annotation quality and contamination riskcall its rankings into question. To address these issues, we presentPureDocBench, a programmatically generated, source-traceable benchmark thatrenders document images from HTML/CSS and produces verifiable annotations fromthe same source, covering 10 domains, 66 subcategories, and 1,475 pages, eachin three versions: clean, digitally degraded, and real-degraded (4,425 imagestotal). Evaluating 40 models spanning pipeline specialists, end-to-endspecialists, and general-purpose VLMs, we find: (i) document parsing is farfrom solved: the best model scores only ~74 out of 100, with a 44.6-point gapbetween the strongest and weakest models; (ii) specialist parsers with <=4Bparameters rival or surpass general VLMs that are 5-100x larger, yet formularecognition remains a shared bottleneck where no model exceeds 67% whenaveraging the formula metric across all three tracks; (iii) general VLMs loseonly 0.99/8.52 Overall points under digital/real degradation versus 4.90/14.21for pipeline specialists, producing ranking reversals that make clean-onlyevaluation misleading for deployment. All data, code, and artifacts arepublicly released.
- Abstract（参考訳）: この1年、20以上のオープンソースドキュメント解析モデルが見られたが、Thefieldは、トップスコアが90%以上飽和している1,355ページの注釈付きデータセットであるOmniDocBenchのみをベンチマークしている。
OmniDocBenchで実施した3段階の監査パイプラインでは、21,353evaluator-scoredブロックをスクリーニングし、2,580のエラー(12.08%)を確認します。
これらの問題に対処するために、PureDocBenchは、HTML/CSSのドキュメントイメージをプログラムで生成し、同じソースから検証可能なアノテーションを生成し、それぞれ10のドメイン、66のサブカテゴリ、1,475のページをカバーする。
パイプラインスペシャリスト、エンドツーエンドスペシャリスト、汎用VLMにまたがる40のモデルを評価する。
(i)最高のモデルスコアは100点中74点であり、44.6点のギャップは最強で最弱のモデルである。
(ii) 一般VLMより5-100倍大きい<=4Bparameters</i>を競合または超越したスペシャリストは, 定式化は, 定式化基準値が3トラックすべてで67%を超えないような共有ボトルネックのままである。
3)一般的なVLMは0.99/8.52ポイントしか失われず、パイプラインの専門家は4.90/14.21ポイントしか得られない。
データ、コード、アーティファクトはすべて公開されています。
関連論文リスト
- Benchmarking Complex Multimodal Document Processing Pipelines: A Unified Evaluation Framework for Enterprise AI [0.0]
私たちはEnterpriseDocBenchを構築し、忠実さのパース、インデックス化の効率、検索の妥当性、生成の基盤化を推し進めました。
BM25、密封、ハイブリッドの3つのパイプラインを、すべて同じGPT-5ジェネレータで実行しました。
事実的正確性は85.5%だが、答えの完全性の平均は0.40である。
論文 参考訳（メタデータ） (2026-04-29T07:48:41Z) - BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation [34.429649156970015]
以前の評価では、検索なしでベースモデルをテストしたが、これは現在の慣行を反映していない。
3つの検索可能なフロンティアモデルでは、9つのフィールドと6方向のエラー分類に基づいてBibエントリを生成する。
全体的な精度は83.6%だが、完全な正確さは50.9%に過ぎない。
論文 参考訳（メタデータ） (2026-04-03T16:30:58Z) - MDPBench: A Benchmark for Multilingual Document Parsing in Real-World Scenarios [72.8160644291677]
我々は,多言語デジタルおよび写真文書解析のための最初のベンチマークであるMultilingual Document Parsing Benchmarkを紹介する。
MDPBenchは17言語にまたがる3,400のドキュメントイメージ、多様なスクリプト、さまざまな写真条件で構成されている。
論文 参考訳（メタデータ） (2026-03-30T07:47:46Z) - VAREX: A Benchmark for Multi-Modal Structured Extraction from Documents [1.06378109904813]
VAREXは政府形態からの構造化データ抽出を評価するためのベンチマークである。
ベンチマークは、1,777の文書と1,771のユニークな文書から成っており、3相品質保証を通じて真理を検証している。
結果は、4Bパラメータ以下では、コンプライアンス出力 -- 抽出能力ではなく -- が主要なボトルネックであることを示している。
論文 参考訳（メタデータ） (2026-03-16T11:15:56Z) - AIForge-Doc: A Benchmark for Detecting AI-Forged Tampering in Financial and Form Documents [7.014776899553499]
我々は,ファイナンシャルおよびフォーム文書にピクセルレベルのアノテーションを付加した拡散モデルベースの塗り絵のみを対象とする,最初の専用ベンチマークであるAIForge-Docを紹介する。
TruFor、DocTamper、ゼロショットGPT-4oの3つの代表検出器をベンチマークした結果、既存のメソッドはすべて大幅に劣化していることがわかった。
論文 参考訳（メタデータ） (2026-02-24T05:37:35Z) - AI Transparency Atlas: Framework, Scoring, and Real-Time Model Card Evaluation Pipeline [2.1787849426740364]
我々は5つのフロンティアモデル(Gemini 3, Grok 4.1, Llama 4, GPT-5, Claude 4.5)と100台のHugging Faceモデルカードからドキュメントを分析した。
安全クリティカルな開示を優先する8つのセクションと23のサブセクションからなる重み付き透明性フレームワークを開発した。
論文 参考訳（メタデータ） (2025-12-13T19:48:44Z) - DocReward: A Document Reward Model for Structuring and Stylizing [107.03974018371058]
DocRewardはドキュメントの構造とスタイルに基づいてドキュメントを評価するドキュメント報酬モデルである。
ブラッドリー・テリーの損失を利用して文書を採点し、注釈付きランキングに矛盾する予測を罰する訓練を受けている。
GPT-5の37.7%の勝利率に比べて60.8%の勝利率を達成した。
論文 参考訳（メタデータ） (2025-10-13T13:36:32Z) - MMLongBench-Doc: Benchmarking Long-context Document Understanding with Visualizations [105.10376440302076]
MMLongBench-Doc は 1,062 のエキスパート注釈付き質問を含む長文マルチモーダルベンチマークである。
130の長いPDFフォーマットの文書の上に構築されており、平均49.4ページと20,971のテキストトークンがある。
14個のLVLMの実験により、長いコンテキストのDUが現在のモデルに大きく挑戦することを示した。
論文 参考訳（メタデータ） (2024-07-01T17:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。