論文の概要: Pix2Evidence: A Multimodal RAG System for Text and Visual Evidence

• arxiv url: http://arxiv.org/abs/2610.41335v1
• Date: Fri, 30 Oct 2026 06:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.635366
• Title: Pix2Evidence: A Multimodal RAG System for Text and Visual Evidence
• Title（参考訳）: Pix2Evidence:テキストとビジュアルエビデンスのためのマルチモーダルRAGシステム
• Abstract要約: 視覚的に豊かな文書に対するRAGは、関連する内容と、回答を支持する証拠の両方を見つけなければならない。 Pix2EvidenceはマルチモーダルなRAGシステムで、各スクリーンショットタイルと利用可能な文字を1つの融合画像-テキスト表現にエンコードする。 我々はこれらの記述を用いて検索者を適応させ、回答生成の前に検索した候補を再評価する。
• 参考スコア（独自算出の注目度）: 12.008359688622248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation (RAG) over visually rich documents must find both relevant content and the evidence that supports an answer. Screenshot retrieval preserves images and page structure, but written facts within screenshots also need to be searchable. Moreover, topical relevance alone does not identify which retrieved tile contains evidence for the answer. We introduce Pix2Evidence, a multimodal RAG system that encodes each screenshot tile together with its available transcription into a single fused image--text representation, so that layout and readable text are considered jointly during retrieval. To guide evidence selection, a vision-language teacher describes the visible content that supports each training question. We use these descriptions to adapt the retriever, then rerank the retrieved candidates before answer generation. Extensive experiments demonstrate that Pix2Evidence outperforms state-of-the-art methods. Across five widely-used Wikipedia QA benchmarks, the non-reranked Pix2Evidence leads the main comparison in answer accuracy on four. On MMSearch, it reaches 26.0\%, 4.4 percentage points above PixelRAG. We will release the code and share derived data where licensing and privacy reviews permit.
• Abstract（参考訳）: 視覚的にリッチな文書を検索するRAG(Retrieval-augmented Generation)は、関連するコンテンツと、回答を支持する証拠の両方を見つける必要がある。 スクリーンショット検索は画像とページ構造を保存するが、スクリーンショット内で書かれた事実も検索する必要がある。 さらに、局所的関連性だけでは、どのタイルが解答の証拠を含んでいるかを特定できない。 Pix2EvidenceというマルチモーダルなRAGシステムを導入し、各スクリーンショットタイルを1つの融合画像-テキスト表現に符号化することで、検索中にレイアウトと可読テキストを共同で検討する。 エビデンス選択を導くために、視覚言語教師は、各トレーニング質問をサポートする可視コンテンツを記述する。 我々はこれらの記述を用いて検索者を適応させ、回答生成の前に検索した候補を再評価する。 Pix2Evidenceは最先端の手法よりも優れていた。 広く使用されている5つのWikipedia QAベンチマークの中で、Pix2Evidenceは4つの回答精度の主な比較を導いている。 MMSearchでは、PixelRAGより26.0\%、4.4ポイント高い。 コードを公開し、ライセンスとプライバシレビューが許可する派生データを共有します。

関連論文リスト

• Chain of Evidence: Pixel-Level Visual Attribution for Iterative Retrieval-Augmented Generation [19.889854990300595]
  反復検索拡張生成(iRAG)は、複雑なマルチホップ問題に答える強力なパラダイムとして登場した。 Evidence (CoE) の textbfChain について述べる。
  論文  参考訳（メタデータ） (2026-05-02T06:40:42Z)
• Pixel-Grounded Retrieval for Knowledgeable Large Multimodal Models [58.46663983451155]
  PixSearchは、地域レベルの認識と検索強化推論を統合する、エンドツーエンドのLMM(Large Multimodal Model)である。 エンコーディング中、PixSearchは検索をトリガーする検索>トークンを出力し、クエリのモダリティ(テキスト、画像、リージョン)を選択し、ビジュアルクエリとして直接機能するピクセルレベルのマスクを生成する。 エゴセントリックでエンティティ中心のVQAベンチマークでは、PixSearchは事実整合性と一般化を大幅に改善する。
  論文  参考訳（メタデータ） (2026-01-27T00:46:08Z)
• SDS KoPub VDR: A Benchmark Dataset for Visual Document Retrieval in Korean Public Documents [10.146296597660598]
  既存のビジュアル文書検索(VDR)のベンチマークは、非英語言語と公式出版物の構造的複雑さを概ね見落としている。 SDS KoPub VDRは,韓国の公文書の検索と理解のための,最初の大規模公開ベンチマークである。 ベンチマークは361の現実世界のドキュメント上に構築されており、KOGL Type 1ライセンス下の256ファイル、公式の法的ポータルからの105ファイルが含まれている。
  論文  参考訳（メタデータ） (2025-11-07T01:16:07Z)
• TextlessRAG: End-to-End Visual Document RAG by Speech Without Text [11.507219997350155]
  大規模文書画像上での音声による質問応答のための,最初のエンドツーエンドフレームワークであるTextlessRAGを提案する。 従来の方法とは異なり、TextlessRAGはASR、TS、OCRを排除し、音声を直接解釈し、関連する視覚的知識を取得し、完全なテキストレスパイプラインで回答を生成する。 我々は、中国語と英語の音声クエリにマルチモーダル文書の内容が組み合わされた最初のバイリンガル音声文書RAGデータセットをリリースする。
  論文  参考訳（メタデータ） (2025-09-09T09:16:25Z)
• Fine-grained Late-interaction Multi-modal Retrieval for Retrieval Augmented Visual Question Answering [56.96857992123026]
  知識に基づくビジュアル質問回答 (KB-VQA) では、外部知識ベースからの知識を活用して視覚的に座屈した質問に答えるためにVQAシステムが必要である。 本稿では,RA-VQAにおける知識検索を大幅に改善する,微粒な遅延相互作用型マルチモーダル検索(FLMR)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T10:54:10Z)
• JourneyDB: A Benchmark for Generative Image Understanding [89.02046606392382]
  生成画像の領域に適合する包括的データセットであるJourneyDBを導入する。 精巧にキュレートされたデータセットは、400万の異なる高品質な画像で構成されています。 本データセットでは,生成した画像の理解性能を評価するための4つのベンチマークを考案した。
  論文  参考訳（メタデータ） (2023-07-03T02:39:08Z)
• Cap4Video: What Can Auxiliary Captions Do for Text-Video Retrieval? [131.300931102986]
  現実のシナリオでは、オンラインビデオにはタイトルやタグ、サブタイトルなど、関連するテキスト情報が添付されることが多い。 そこで本研究では,ゼロショットビデオキャプションを用いて動画から関連キャプションを直接生成する手法を提案する。 我々は,我々のアプローチの有効性を実証する包括的アブレーション研究を行っている。
  論文  参考訳（メタデータ） (2022-12-31T11:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。