論文の概要: Defining Page-Centric Visual Document Retrieval and Evaluating Existing Benchmarks

• arxiv url: http://arxiv.org/abs/2610.41360v1
• Date: Fri, 30 Oct 2026 07:24:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.642816
• Title: Defining Page-Centric Visual Document Retrieval and Evaluating Existing Benchmarks
• Title（参考訳）: ページ中心のビジュアルドキュメント検索の定義と既存のベンチマークの評価
• Abstract要約: 我々はページ中心のVisual Document Retrieval(VDR)を基本インデックス単位として、ページ関連性を評価するために利用可能なドキュメントコンテキストとして定式化する。 次に、コーパス特性、クエリ構築、関連アノテーション、ランキングサポートを含む8つの基準を用いて、42のベンチマークを評価する。
• 参考スコア（独自算出の注目度）: 26.96650250266983
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In modern information retrieval (IR), documents are increasingly encountered as structured sequences of visually rich, paginated units, rather than as flat text. Example documents encountered in our daily life include Word files, PDFs, and slide decks. Free text-centric retrieval systems either ignore this structure entirely or destroy it through arbitrary passage chunking. In this paper, we formulate page-centric Visual Document Retrieval (VDR) with pages as the fundamental indexing units and document context available for assessing page relevance. The formulation distinguishes two retrieval granularities, page and document, and three retrieval paradigms: independent-item, evidence-set, and iterative retrieval. We then assess 42 benchmarks using eight criteria covering corpus characteristics, query construction, relevance annotation, and ranking support. Our analysis shows two main findings on current VDR research. First, evaluation remains concentrated on page-level independent-item retrieval, with fewer resources supporting document-level, evidence-set, and iterative settings. Second, queries originating from real user information needs independently of target corpus content and graded relevance judgments are uncommon, while the coverage and verification of relevance judgments vary substantially. Both findings reveal gaps between the capabilities applications require and those existing evaluation protocols can establish. We provide benchmark selection guidance and identify priorities for future benchmark design, emphasizing alignment between task requirements, relevance semantics, and evaluation protocols.
• Abstract（参考訳）: 現代の情報検索(IR)では、文書はフラットテキストではなく、視覚的に豊かでパギン化された単位の構造化シーケンスとして、ますます認識されている。 私たちの日常生活で遭遇した文書には、Wordファイル、PDF、スライドデッキなどがあります。 無料のテキスト中心検索システムは、この構造を完全に無視するか、任意のパスチャンクによって破壊する。 本稿では、ページ中心のVisual Document Retrieval(VDR)を基本インデックス単位として定式化し、ページ関連性を評価するために利用可能な文書コンテキストについて述べる。 この定式化は2つの検索粒度、ページとドキュメント、および3つの検索パラダイム(独立イテム、エビデンスセット、反復検索)を区別する。 次に、コーパス特性、クエリ構築、関連アノテーション、ランキングサポートを含む8つの基準を用いて、42のベンチマークを評価する。 我々の分析は、現在のVDR研究における2つの主要な発見を示している。 第一に、評価はページレベルの独立項目検索に集中しており、ドキュメントレベル、エビデンスセット、反復的な設定をサポートするリソースが少ない。 第二に、実際のユーザ情報から得られるクエリは、ターゲットのコーパスの内容とは独立して必要であり、グレードされた関連判断は一般的ではないが、関連判断のカバレッジと検証は、大きく異なる。 どちらの発見も、アプリケーションに必要な機能と既存の評価プロトコルのギャップを明らかにしている。 我々は,タスク要求,関連セマンティクス,評価プロトコルの整合性を強調し,将来のベンチマーク設計のためのベンチマーク選択のガイダンスと優先順位の特定を行う。

関連論文リスト

• LongDocBench: Benchmarking TOC Hierarchy and Contextual Relationship Recovery in Long Documents [7.641999919052611]
  我々は,85の現実世界の財務報告,教科書,および2,582ページに及ぶ学術論文からなるtextscLongDocBenchを紹介した。 3,937のノード(平均ノード深さ3.55、最大深度9)と2,680のテーブルと図形オブジェクトにアノテートされた3,258のコンテキスト関係に対して、人間検証されたアノテーションを提供する。 長期文書質問回答実験は、人間の検証された階層と文脈的関係が推論を改善し、それらの組み合わせが補完的な利益をもたらすことを示している。
  論文  参考訳（メタデータ） (2026-08-15T06:25:26Z)
• MPDocBench-Parse: Benchmarking Practical Multi-page Document Parsing [74.84107522458798]
  MPDocBench-Parseは、現実世界のアプリケーションにおけるマルチページ文書解析のためのベンチマークである。 433の注釈付き文書に3,246ページあり、英語と中国語の15種類の文書を網羅しており、レイアウトは様々である。
  論文  参考訳（メタデータ） (2026-05-21T07:36:41Z)
• CoverageBench: Evaluating Information Coverage across Tasks and Domains [57.33043453870487]
  情報カバレッジは、特に検索システムが生成モデルと統合されている場合、検索において中心的な側面である。 Web検索における多様性ランキングの概念を中心に開発されたテストコレクションには、Webドメインにおけるカバレッジの概念をサポートする複数の側面が含まれている。
  論文  参考訳（メタデータ） (2026-03-20T15:20:44Z)
• Chain of Retrieval: Multi-Aspect Iterative Search Expansion and Post-Order Search Aggregation for Full Paper Retrieval [68.71038700559195]
  The Chain of Retrieval (COR) is a novel repeaterative framework for full-paper search。 SCIBENCH(SCIBENCH)は、クエリと候補のための全論文の完全なコンテキストとセグメント化されたコンテキストを提供するベンチマークである。
  論文  参考訳（メタデータ） (2025-07-14T08:41:53Z)
• Éclair -- Extracting Content and Layout with Integrated Reading Order for Documents [7.358946120326249]
  本稿では,テキスト抽出ツールである'Eclairについて紹介する。 画像が与えられたら、"Eclairは、バウンディングボックスとその対応するセマンティッククラスとともに、読み順でフォーマットされたテキストを抽出できる。 このベンチマークで'Eclair'は最先端の精度を達成し、主要なメトリクスで他のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2025-02-06T17:07:22Z)
• Open-World Evaluation for Retrieving Diverse Perspectives [39.22331280176582]
  主観的質問に対する検索多様性のベンチマーク(BERDS)を作成する。 それぞれの例は質問と、質問に関連するさまざまな視点で構成されている。 検索した文書に視点があるかどうかを判断する言語モデルに基づく自動評価器を構築した。
  論文  参考訳（メタデータ） (2024-09-26T17:52:57Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。