論文の概要: CrossModalQA: A Cross-modal and Multi-hop Benchmark for Multimodal Retrieval-augmented Generation

• arxiv url: http://arxiv.org/abs/2609.05518v1
• Date: Mon, 31 Aug 2026 16:00:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.082014
• Title: CrossModalQA: A Cross-modal and Multi-hop Benchmark for Multimodal Retrieval-augmented Generation
• Title（参考訳）: CrossModalQA:マルチモーダル検索拡張生成のためのクロスモーダルおよびマルチホップベンチマーク
• Abstract要約: CrossModalQAは、異種コーパス上のマルチモーダル検索と推論を評価するためのオープンドメインベンチマークである。 視覚からテキストへの道、テキストからテキストへの道、視覚からテキストへの道、複数画像の交叉、画像集合の推論の5つの相補的推論経路を網羅している。
• 参考スコア（独自算出の注目度）: 15.857678905969273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the strong capabilities of multimodal large language models (MLLMs), their parametric knowledge remains incomplete and difficult to update, motivating multimodal retrieval-augmented generation (RAG) to ground responses in external text and images. However, existing benchmarks face two major limitations: (i) they typically emphasize single-hop retrieval or reasoning over a small set of provided contexts rather than open-domain evidence discovery; and (ii) they provide fragmented coverage of cross-modal reasoning paths, leaving complex multi-hop and multi-image reasoning underexplored. In this paper, we introduce CrossModalQA, an open-domain benchmark for evaluating multimodal retrieval and reasoning over heterogeneous corpora. CrossModalQA contains 1,863 question-answer pairs constructed from 4,987 Wikipedia articles and 4,431 Wikimedia Commons images. It covers five complementary reasoning paths: vision-to-text, text-to-vision, vision-to-text-to-vision, multi-image intersection, and image-set reasoning. Every question requires retrieving and composing distributed textual and visual evidence, with an average reasoning depth of 3.50 hops. We construct the benchmark through multimodal knowledge graph-guided subgraph sampling and apply rule-based consistency checking and LLM verification to ensure multimodal dependence and traceable evidence. Extensive experiments demonstrate that existing multimodal RAG systems struggle to recover complete evidence chains and can underperform closed-book models when incomplete retrieval introduces distracting context. Further analysis reveals that complete cross-modal retrieval contributes more to answer accuracy than generator scaling, while multi-image retrieval and reasoning remain the primary bottlenecks limiting end-to-end performance.
• Abstract（参考訳）: MLLM(Multimodal large language model)の強い能力にもかかわらず、そのパラメトリック知識は不完全で更新が難しいままであり、外部テキストや画像の応答に対してRAG(Multimodal retrieve-augmented generation)を動機付けている。 しかし、既存のベンチマークには2つの大きな制限がある。 (i)通常、オープンドメインの証拠発見よりも、提供されたコンテキストの小さなセットについて、シングルホップ検索や推論を強調する。 (II)クロスモーダル推論パスの断片的カバレッジを提供し、複雑なマルチホップとマルチイメージ推論を未探索のまま残している。 本稿では,異種コーパスを用いたマルチモーダル検索と推論のためのオープンドメインベンチマークであるCrossModalQAを紹介する。 CrossModalQAには4,987のWikipedia記事と4,431のWikimedia Commonsイメージから構築された1,863の質問応答対が含まれている。 視覚からテキストへの道、テキストからテキストへの道、視覚からテキストへの道、複数画像の交叉、画像集合の推論の5つの相補的推論経路を網羅している。 すべての質問は、平均3.50ホップの推論深度で、分散されたテキストと視覚的な証拠を検索し、作曲する必要がある。 我々は,マルチモーダル知識グラフ誘導サブグラフサンプリングを用いてベンチマークを構築し,ルールベースの一貫性チェックとLCM検証を適用し,マルチモーダル依存とトレーサブルな証拠を確実にする。 大規模な実験により、既存のマルチモーダルRAGシステムは、完全なエビデンスチェーンの回復に苦慮し、不完全な検索が不完全なコンテキストをもたらすと、クローズドブックモデルの性能が低下することを示した。 さらに分析した結果,完全クロスモーダル検索はジェネレータスケーリングよりも解答精度の向上に寄与するが,マルチイメージ検索と推論はエンド・ツー・エンドのパフォーマンスを制限する主要なボトルネックであることがわかった。

関連論文リスト

• Hierarchical Evidence-Driven Reasoning for Long Document Understanding [95.51688464037096]
  閉領域文書理解のための階層的・エビデンス駆動型マルチモーダルRAGフレームワークであるHIEVI-RAGを紹介する。 我々のフレームワークは、既存のオープンソースベースラインを著しく上回り、最強の報告ベースラインを平均8.05%の精度で上回ります。
  論文  参考訳（メタデータ） (2026-07-06T03:08:28Z)
• CRIT: Graph-Based Automatic Data Synthesis to Enhance Cross-Modal Multi-Hop Reasoning [28.037871701844654]
  我々は、複雑なクロスモーダル推論タスクを生成するグラフベースの自動パイプラインで構築された新しいデータセットとベンチマークであるCRITを紹介する。 CRITは、自然画像、ビデオ、テキストリッチソースから様々な領域で構成され、信頼性評価のための手動検証テストセットを含んでいる。 CRITでトレーニングされたモデルでは、SPIQAや他の標準マルチモーダルベンチマークの強化など、クロスモーダルなマルチホップ推論が大幅に向上した。
  論文  参考訳（メタデータ） (2026-04-02T05:23:18Z)
• MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents [57.32877731797049]
  MultiHaystackは、大規模なクロスモーダル条件下での検索と推論の両方を評価するために設計された最初のベンチマークである。 モデルが対応するエビデンスを付与した場合,その性能は,全コーパスからそのエビデンスを取得するために必要な場合,急激に低下することがわかった。
  論文  参考訳（メタデータ） (2026-03-05T21:43:02Z)
• MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering [51.19392014547221]
  検索型マルチモーダル文書QAは,視覚的にリッチな文書から複雑なマルチモーダル構造を持つ関連情報を識別し,統合することを目的としている。 現在のアプローチは、サージェントなコンテンツを見渡すクエリに依存しないドキュメント表現に依存しています。 本稿では,クエリ適応生成を導入したMultimodal Adaptive Retrieval-Augmented (MARA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-01T12:27:40Z)
• UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
  マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。 UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。 実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
  論文  参考訳（メタデータ） (2025-10-04T04:30:13Z)
• MR$^2$-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval [86.35779264575154]
  マルチモーダル検索は、現代のAIアプリケーションにおいて重要なコンポーネントになりつつあるが、その評価は、より現実的で困難なシナリオの要求に遅れている。 マルチモーダル検索のための推論集約型ベンチマークであるMR$2$-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-30T15:09:14Z)
• CMR-SPB: Cross-Modal Multi-Hop Reasoning over Text, Image, and Speech with Path Balance [10.843417240658992]
  クロスモーダル・マルチホップ推論(CMR)は、マルチモーダル・大規模言語モデル(MLLM)の重要かつ未探索の能力である。 この能力を評価するための既存のベンチマークには、重大な欠点がある、と我々は主張する。 CMR-SPB (Cross-Modal Multi-Hop Reasoning over Text, Image and Speech with Path Balance) という新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-08-22T08:17:31Z)
• Benchmarking Retrieval-Augmented Multimodal Generation for Document Question Answering [60.062194349648195]
  Document Visual Question Answering (DocVQA)は、長いマルチモーダル文書の処理において2つの課題に直面している。 現在の文書検索拡張生成法(DocRAG)はテキスト中心のアプローチによって制限されている。 MMDocRAGは,多ページのクロスモーダルエビデンスチェーンを持つ4,055のエキスパートアノテーション付きQAペアを特徴とする総合ベンチマークである。
  論文  参考訳（メタデータ） (2025-05-22T09:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。