論文の概要: One Fact, Many Places: Redundant Evidence in Long Visual Documents Breaks Single-Gold Evaluation of Retrieval, Citation and Attribution

• arxiv url: http://arxiv.org/abs/2610.26401v1
• Date: Mon, 19 Oct 2026 13:43:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 17:58:10.07487
• Title: One Fact, Many Places: Redundant Evidence in Long Visual Documents Breaks Single-Gold Evaluation of Retrieval, Citation and Attribution
• Title（参考訳）: 一つの事実、多くの場所:長い視覚文書における冗長な証拠は、検索、扇動、帰属の単金的評価を破る
• Abstract要約: 文書の理解は、注釈付き金の場所に対して、答えがどこから来たかでますます判断される。 このようなコピーが標準ベンチマークでどれだけ頻繁に発生し、評価に何をするかを尋ねる。 我々は,MMLongBench-DocとMMDocRAGの420の質問に対して,それぞれの要求された事実を独立に確立する場所について注釈を付ける。
• 参考スコア（独自算出の注目度）: 7.882790741851022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Document understanding is increasingly judged on where an answer comes from, scored against annotated gold locations as if each fact lived in one place. In long visual documents, a fact often lives in several places: a chart value is restated in the text, a key figure reappears in the summary. We ask how often such copies occur in standard benchmarks and what they do to evaluation. We annotate 420 questions from MMLongBench-Doc and MMDocRAG with the locations that independently establish each required fact, checked by two independent reviewers. Copies are common and often cross-modal: 19.5% of MMLongBench-Doc test questions have a strict copy outside the gold, and in 28% of MMDocRAG questions a non-gold candidate alone supplies a required fact. Single-gold scoring then fails in three predictable ways. A retriever that finds a copy is scored as a miss: page recall@1 of text and visual retrievers is underestimated by 13-24 points on questions with a cross-page copy. A model that cites a copy is scored as citing wrongly: crediting equivalent evidence reverses 11% of pairwise orderings among 65 competitive MMDocRAG systems. Masking the gold region leaves the fact available elsewhere: with a copy in the input, 41-56% of correct answers across four models survive it yet fail once every annotated instance is masked. Set-level masking with automatically found copies closes 78% of the gap to masking every annotated instance at matched granularity (three models); an unverified key-string rule lowers survival at least as far but masks three times the area. We release the annotations and redundancy-aware metrics.
• Abstract（参考訳）: 文書の理解は、ある答えがどこから来たかでますます判断され、注釈付き金の場所に対して、それぞれの事実が一つの場所に生きているかのように得点される。 長いビジュアル文書では、事実はしばしばいくつかの場所に存在している: チャートの値がテキストで再表示され、キーフィギュアが要約で再現れる。 このようなコピーが標準ベンチマークでどれだけ頻繁に発生し、評価に何をするかを尋ねる。 MMLongBench-Doc と MMDocRAG の420の質問に対して,2人の独立したレビュアーが確認した,それぞれの要求事実を独立して確立する場所について注釈を付ける。 MMLongBench-Docテスト質問の19.5%は金の外側で厳密なコピーをしており、MMDocRAG質問の28%では、非ゴールド候補のみが要求された事実を提供する。 シングルゴールドスコアは3つの予測可能な方法で失敗する。 テキストとビジュアルレトリバーのページリコール@1は、クロスページコピーによる質問の13～24ポイントによって過小評価される。 65の競争的MMDocRAGシステムの中で、同等の証拠を信用することはペアの注文の11%を逆転させる。 4つのモデルの正解の41～56%は、アノテートされた各インスタンスがマスクされるとフェールする。 自動的に発見されたコピーによるセットレベルのマスキングは、一致した粒度(3モデル)ですべてのアノテーション付きインスタンスをマスキングするギャップの78%を閉じる。 私たちはアノテーションと冗長性を意識したメトリクスをリリースします。

関連論文リスト

• PageRecall: Measuring Page Selection in Literature-Grounded Question Answering [0.0]
  調査質問が与えられた後、LitTraceQAは27,487のプールから関連書類を検索し、そのページと答えがどこにあるかの表や図を引用し、要求された形式で回答する。 主な発見は、根拠となる証拠は検索によって制限されており、読み取りによってではないということです。 45のケースでは14回、間違った24回、正しい7回しか返さないため、パイプラインが視覚的に失敗するほぼ2倍の頻度で失敗しました。
  論文  参考訳（メタデータ） (2026-09-16T05:33:20Z)
• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• LitTraceQA: A Benchmark for Multi-Stage Grounding and Verification in Scientific Question Answering [30.616598264585203]
  本稿では,学術論文に対する文献的回答のベンチマークであるLitTraceQAを紹介する。 研究質問と論文のメタデータプールが与えられた場合、システムは3つの接続された出力を返す必要がある。 我々は4,859枚のユニークなゴールド・ペーパーの4,978枚のユニーク・クエスト・レコードを用いて、より大規模な最終アノテーション・コレクションを解析した。
  論文  参考訳（メタデータ） (2026-08-07T16:11:52Z)
• Do Current Retrievers Cover All the Evidence? A Controlled Study of Conjunctive Cross-Page Retrieval [4.417775569382944]
  本研究では,1つの文書の異なるページに2つないし3つの明示的な条件を組み込まなければならない連結的文書検索のギャップについて検討する。 我々はn-Clueを制御測定器として使用しています。 70を超える構成では、2つの濃厚なバックボーンを6.8～7.3ポイント改善する。 ビジュアルシステムは、クエリの5.1～5.3%しかサポートしていない。
  論文  参考訳（メタデータ） (2026-07-27T08:46:27Z)
• CiteVQA: Benchmarking Evidence Attribution for Trustworthy Document Intelligence [35.06938031991452]
  CiteVQAは要素レベルのバウンディングボックスの引用を各回答と一緒に返さなければならないベンチマークである。 CiteVQAは7つのドメインと2つの言語にまたがる711のPDFに1,897の質問があり、1ドキュメントあたり平均40.6ページである。 Strict Attributed Accuracy (SAA) は、回答と引用された領域の両方が正しい場合にのみ、予測を信用する。
  論文  参考訳（メタデータ） (2026-05-13T01:54:42Z)
• UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
  マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。 UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。 実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
  論文  参考訳（メタデータ） (2025-10-04T04:30:13Z)
• MMLongBench-Doc: Benchmarking Long-context Document Understanding with Visualizations [105.10376440302076]
  MMLongBench-Doc は 1,062 のエキスパート注釈付き質問を含む長文マルチモーダルベンチマークである。 130の長いPDFフォーマットの文書の上に構築されており、平均49.4ページと20,971のテキストトークンがある。 14個のLVLMの実験により、長いコンテキストのDUが現在のモデルに大きく挑戦することを示した。
  論文  参考訳（メタデータ） (2024-07-01T17:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。