論文の概要: Document-as-Image Representations Fall Short for Scientific Retrieval

• arxiv url: http://arxiv.org/abs/2604.18508v1
• Date: Mon, 20 Apr 2026 17:00:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:53.009283
• Title: Document-as-Image Representations Fall Short for Scientific Retrieval
• Title（参考訳）: ドキュメント・アズ・イメージの表現が科学的検索に不足
• Authors: Ghazal Khalighinejad, Raghuveer Thirukovalluru, Alexander H. Oh, Bhuwan Dhingra,
• Abstract要約: 本稿では,基礎となる学術論文から構築された新しいベンチマークであるArXivDocを紹介する。 文書長が増大するにつれて、文書・画像表現は一貫して準最適であることが示される。 テキストベースの表現は、文字ベースのクエリでも、キャプションや周囲のコンテキストを活用することで、最も効果的である。
• 参考スコア（独自算出の注目度）: 54.7382379182364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many recent document embedding models are trained on document-as-image representations, embedding rendered pages as images rather than the underlying source. Meanwhile, existing benchmarks for scientific document retrieval, such as ArXivQA and ViDoRe, treat documents as images of pages, implicitly favoring such representations. In this work, we argue that this paradigm is not well-suited for text-rich multimodal scientific documents, where critical evidence is distributed across structured sources, including text, tables, and figures. To study this setting, we introduce ArXivDoc, a new benchmark constructed from the underlying LaTeX sources of scientific papers. Unlike PDF or image-based representations, LaTeX provides direct access to structured elements (e.g., sections, tables, figures, equations), enabling controlled query construction grounded in specific evidence types. We systematically compare text-only, image-based, and multimodal representations across both single-vector and multi-vector retrieval models. Our results show that: (1) document-as-image representations are consistently suboptimal, especially as document length increases; (2) text-based representations are most effective, even for figure-based queries, by leveraging captions and surrounding context; and (3) interleaved text+image representations outperform document-as-image approaches without requiring specialized training.
• Abstract（参考訳）: 多くの最近の文書埋め込みモデルは、基礎となるソースではなく、レンダリングされたページをイメージとして埋め込み、ドキュメント・アズ・イメージの表現に基づいて訓練されている。 一方、ArXivQAやViDoReのような科学的文書検索のための既存のベンチマークでは、文書をページのイメージとして扱い、そのような表現を暗黙的に好んでいる。 本研究は,本パラダイムが,テキスト,表,図形など,構造化された資料に批判的証拠が分散する,テキストに富むマルチモーダルな科学文書に適していないことを論じる。 この設定を研究するために、基礎となるLaTeXの科学論文から構築された新しいベンチマークであるArXivDocを紹介する。 PDFやイメージベースの表現とは異なり、LaTeXは構造化された要素(例えば、セクション、テーブル、フィギュア、方程式)への直接アクセスを提供し、特定のエビデンスタイプに基づいて制御されたクエリ構築を可能にする。 テキストのみ、画像ベース、マルチモーダル表現を単一ベクトルおよび多ベクトル検索モデルで体系的に比較する。 その結果,(1)文書・アズ・イメージ表現は文書長の増加に伴って常に最適であり,(2)文字・アズ・イメージ表現は文字・ア・イメージ・アプローチよりも効果的であること,(3)文字・アズ・イメージ表現は特別な訓練を必要とせずに文書・ア・イメージ・アプローチより優れていることがわかった。

関連論文リスト

• Multimodal OCR: Parse Anything from Documents [72.69545534962234]
  dots.mocrは、チャート、ダイアグラム、テーブル、アイコンなどのビジュアル要素を第一級解析ターゲットとして扱う。 テキストとグラフィックの両方を構造化出力として再構築し、より忠実なドキュメント再構築を可能にする。 不均一なドキュメント要素に対するエンドツーエンドのトレーニングをサポートする。
  論文  参考訳（メタデータ） (2026-03-13T14:42:21Z)
• UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
  マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。 UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。 実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
  論文  参考訳（メタデータ） (2025-10-04T04:30:13Z)
• ColPali: Efficient Document Retrieval with Vision Language Models [15.369861972085136]
  我々は、複数のドメイン、言語、実用的な設定にまたがる様々なページレベルの検索タスクからなるVisual Document Retrieval Benchmark ViDoReを紹介する。 現代のシステムの本質的な複雑さと性能上の欠点は、ドキュメントページのイメージを直接埋め込むことで文書検索を行うという新しい概念を動機付けている。 文書ページの画像から高品質なマルチベクトル埋め込みを生成するために訓練されたビジョン言語モデルColPaliをリリースする。
  論文  参考訳（メタデータ） (2024-06-27T15:45:29Z)
• Multi-View Document Representation Learning for Open-Domain Dense Retrieval [87.11836738011007]
  本稿では,多視点文書表現学習フレームワークを提案する。 ドキュメントを表現し、異なるクエリに合わせるように強制するために、マルチビューの埋め込みを作成することを目的としている。 実験により,本手法は最近の成果より優れ,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-03-16T03:36:38Z)
• Towards a Multi-modal, Multi-task Learning based Pre-training Framework for Document Representation Learning [5.109216329453963]
  本稿では,新しい事前学習タスクとして,文書トピックモデリングと文書シャッフル予測を導入する。 本稿では,Longformer ネットワークアーキテクチャをバックボーンとして,複数ページの文書からのマルチモーダル情報をエンド・ツー・エンドで符号化する。
  論文  参考訳（メタデータ） (2020-09-30T05:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。