論文の概要: ParseBench-2: Severity-Aware Evaluation of Document Parsing
- arxiv url: http://arxiv.org/abs/2611.17400v1
- Date: Thu, 12 Nov 2026 18:54:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.241853
- Title: ParseBench-2: Severity-Aware Evaluation of Document Parsing
- Title(参考訳): ParseBench-2: ドキュメント解析の深刻度を考慮した評価
- Abstract要約: ドキュメントパーシングのメトリクスは、重要な事実を変えるアウトプットに高いスコアを与え、意味を保存する変化を罰します。
本稿では,各エラータイプがスコアにどのように影響するかを示す厳密なポリシーからメトリクスを解析する手法を提案する。
本手法をParseBench-2に適用した。このベンチマークは、幅広い機能カバレッジと、エラー重大度に校正されたメトリクスを組み合わせた包括的文書パーシングベンチマークである。
- 参考スコア(独自算出の注目度): 5.374826324909631
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Document-parsing metrics can give high scores to outputs that change important facts and penalize changes that preserve meaning. People can often judge these consequences more easily than they can design a metric to measure them. We introduce a method for developing parsing metrics from severity policies that specify how each error type should affect the score. We express these policies through test scenarios that specify how a metric should behave. We then optimize the metric implementations against these fixed expectations, using coding agents to refine comparison rules, error detectors and weights under human review. This makes stated human priorities an explicit objective of metric design. We apply this method in ParseBench-2, a comprehensive document-parsing benchmark that combines broad capability coverage with metrics calibrated to error severity. It covers 4,317 pages across six dimensions of parsing quality: text, formatting, tables, charts, visual grounding, and forms. We use detailed annotations and targeted difficult cases to check for changed facts, broken structural relationships, and missing content. We take the lower of a parsing score that measures content recovery and a severity cap that penalizes detected errors, so recovering most of a page cannot hide a serious error. Across six severity test suites, our metrics more closely match the expert judgments expressed by the scenario targets than existing metrics and penalize at most 3.4% of the tested benign variations. We conduct a comprehensive evaluation spanning frontier vision-language models, specialized document parsers and open-weight systems, comparing their overall rankings, performance across parsing capabilities and tradeoffs between accuracy and cost.
- Abstract(参考訳): ドキュメントパーシングのメトリクスは、重要な事実を変えるアウトプットに高いスコアを与え、意味を保存する変化を罰します。
メトリクスを設計して測定するよりも、多くの場合、これらの結果の判断が簡単になります。
本稿では,各エラータイプがスコアにどのように影響するかを指定する,厳密なポリシーからメトリクスを解析する手法を提案する。
メトリックがどのように振る舞うかを指定するテストシナリオを通じて、これらのポリシーを表現します。
次に、これらの固定された期待値に対してメートル法の実装を最適化し、人間のレビューの下で比較ルール、エラー検出、重みを洗練するために符号化エージェントを使用します。
これにより、人間の優先順位はメートル法設計の明確な目的となる。
本手法をParseBench-2に適用した。このベンチマークは、幅広い機能カバレッジと、エラー重大度に校正されたメトリクスを組み合わせた包括的文書パーシングベンチマークである。
テキスト、フォーマット、テーブル、チャート、ビジュアルグラウンド、フォームの6次元にわたる4,317ページをカバーしている。
詳細なアノテーションを使用し、変更した事実、構造的関係の破れ、コンテンツ不足をチェックするために、難しいケースをターゲットにしています。
我々は、コンテンツリカバリを測定する解析スコアと、検出されたエラーをペナルティ化する重大な上限を低くするので、ページのほとんどのリカバリは重大なエラーを隠せない。
6つの厳密なテストスイートの中で、我々のメトリクスは、既存のメトリクスよりもシナリオ目標によって表現される専門家の判断とより密に一致し、テストされた良質なバリエーションの少なくとも3.4%を罰します。
我々は、フロンティア視覚言語モデル、専門文書パーサ、オープンウェイトシステムにまたがる総合的な評価を行い、それらのランキング、解析能力における性能、精度とコストのトレードオフを比較した。
関連論文リスト
- MATCHA: Matching Text via Contrastive Semantic Alignment [23.871585688798802]
MATCHAは、参照とのセマンティックな合意を報い、矛盾を罰する自動計量である。
参照のみに基づいて誤った文と正しい文を区別するのは最も正確である。
論文 参考訳(メタデータ) (2026-05-26T17:47:14Z) - Do LLMs Know They Are Being Tested? Evaluation Awareness and Incentive-Sensitive Failures in GPT-OSS-20B [1.948261185683419]
本研究では,「評価香り」がコンメンシュレート能力を得ることなく測定性能を膨らませるかどうかを考察する。
6つのペアのA/Bシナリオを実行し、タスク内容を保持し、フレーミングの異なる状態でデコードします。
再現可能なA/Bフレームワーク(バンキング、バリデータ、ラン毎のスコア、スクリプト)と実践的なガイダンスを提供する。
論文 参考訳(メタデータ) (2025-10-08T09:49:05Z) - Evaluating the Evaluators: Metrics for Compositional Text-to-Image Generation [13.460909458745379]
本稿では,コンポジションテキスト画像評価に広く用いられている指標について検討する。
我々の分析は単純な相関を超越し、様々な構成課題にまたがってそれらの振る舞いを調べる。
結果は、1つのメトリクスがタスク間で一貫した実行をしないことを示している。
論文 参考訳(メタデータ) (2025-09-25T14:31:09Z) - The Medium Is Not the Message: Deconfounding Document Embeddings via Linear Concept Erasure [98.71456610527598]
埋め込みベースの類似度メトリクスは、テキストのソースや言語のような刺激的な属性に影響される可能性がある。
本稿では,エンコーダ表現から観測された共同創設者に関する情報を除去するデバイアスアルゴリズムにより,これらのバイアスを最小の計算コストで大幅に低減することを示す。
論文 参考訳(メタデータ) (2025-07-01T23:17:12Z) - Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。
本稿では,基準自由度に欠陥があるかどうかを考察する。
GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
論文 参考訳(メタデータ) (2024-02-18T12:36:23Z) - Machine Translation Meta Evaluation through Translation Accuracy
Challenge Sets [92.38654521870444]
ACESは146の言語ペアにまたがる対照的な課題セットです。
このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。
我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
論文 参考訳(メタデータ) (2024-01-29T17:17:42Z) - On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。
我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。
私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
論文 参考訳(メタデータ) (2022-12-20T06:24:25Z) - BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of
Faithfulness Metrics [70.52570641514146]
不誠実な最小対 (BUMP) のベンチマークを示す。
BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。
非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
論文 参考訳(メタデータ) (2022-12-20T02:17:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。