論文の概要: Signal or Noise? Modality Contribution and Cooperation in Multimodal GraphRAG

• arxiv url: http://arxiv.org/abs/2609.35304v1
• Date: Mon, 28 Sep 2026 14:44:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:40:45.190161
• Title: Signal or Noise? Modality Contribution and Cooperation in Multimodal GraphRAG
• Title（参考訳）: 信号か雑音か? マルチモーダルグラフRAGにおけるモダリティの寄与と協調
• Abstract要約: マルチモーダル知識グラフ(KG)は、テキスト、フィギュア、テーブル、その他のモダリティからの情報を統一された構造化表現に統合する。 推論時により多くのモダリティから証拠を取得することで、下流のパフォーマンスが向上すると一般的に仮定される。 マルチモーダルグラフRAGパイプラインにおいて,モダリティを考慮した検索が下流の推論に与える影響について検討した。
• 参考スコア（独自算出の注目度）: 1.8242874713398711
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multimodal knowledge graphs (KGs) integrate information from text, figures, tables, and other modalities into a unified structured representation, with the promise that richer evidence enables better inference. In GraphRAG systems built over such graphs, it is commonly assumed that retrieving evidence from more modalities at inference time improves downstream performance. Yet, redundant or overlapping multimodal evidence may distract language models in question answering (QA), and whether each modality contributes equally across questions, models, and tasks remains poorly understood. In this work, we study how modality-aware retrieval affects downstream inference in a multimodal GraphRAG pipeline, using document visual question answering (DocVQA) as a testbed. We extend an existing KG-based QA framework to be modality-aware, leveraging the graph structure to track which modality supports which facts and to selectively filter evidence at the edge level. This enables us to investigate whether providing all available multimodal evidence at inference time benefits QA, and to evaluate the contribution and cooperation of modalities across question, task, and model characteristics. Through a controlled analysis within a state-of-the-art multimodal GraphRAG pipeline, five multimodal LLMs and two DocVQA benchmarks, we find that tables and text provide the strongest contributions, and that combining modalities frequently produces redundancy rather than synergy, particularly for pairs involving textual information. Positive cooperation appears mainly between non-text modalities and depends on question intent and task type. Our findings argue for selective, modality-aware retrieval in the design of more effective GraphRAG systems, where modalities are filtered according to the downstream task rather than retrieved uniformly.
• Abstract（参考訳）: マルチモーダル知識グラフ(KG)は、テキスト、フィギュア、テーブル、その他のモダリティからの情報を統一された構造化表現に統合する。 このようなグラフ上に構築されたGraphRAGシステムでは、推論時により多くのモダリティから証拠を取得することで、下流のパフォーマンスが向上すると考えられている。 しかし、冗長あるいは重複した多モーダルな証拠は、質問応答(QA)における言語モデルに注意をそらす可能性があり、各モダリティが質問、モデル、タスクにわたって等しく寄与するかどうかについては、まだよく分かっていない。 本研究では, 文書視覚質問応答(DocVQA)をテストベッドとして, マルチモーダルグラフRAGパイプラインの下流推論に与える影響について検討した。 我々は既存のKGベースのQAフレームワークをモダリティ対応に拡張し、グラフ構造を利用してどのモダリティがどの事実をサポートするかを追跡し、エッジレベルでエビデンスを選択的にフィルタリングする。 これにより、予測時間給付で利用可能なすべてのマルチモーダルエビデンスを提供することがQAに与える影響を調査し、質問、課題、モデル特性に対するモダリティの貢献と協力を評価することができる。 現状のマルチモーダルグラフRAGパイプライン,5つのマルチモーダルLCM,2つのDocVQAベンチマーク内での制御解析により,テーブルとテキストが最強のコントリビューションを提供し,特にテキスト情報を含むペアに対して,モダリティの組み合わせは相乗効果よりも冗長性を頻繁に生み出すことがわかった。 肯定的な協調は、主に非テキストモダリティの間に現れ、質問意図とタスクタイプに依存する。 本研究は,より効率的なGraphRAGシステムの設計において,一様に検索するのではなく,下流のタスクに応じてモダリティをフィルタリングする選択的,モダリティを考慮した検索について論じる。

関連論文リスト

• GraphLoom: Reliability-Calibrated Graph Evidence Routing for Multimodal KG-RAG [4.035350563640088]
  信頼性校正型マルチモーダル知識グラフRAGフレームワークであるGraphLoomを,コンパクトかつ忠実なエビデンスルーティングのために提案する。 取得したすべての証拠をジェネレータに注入する代わりに、GraphLoomは信頼性に配慮したサブグラフ検索を実行する。 我々は、強力なマルチモーダルRAG、グラフ検索、オープンソースのビジョン言語ベースラインに対して、回答の品質と証拠の忠実さが一貫した向上を示す。
  論文  参考訳（メタデータ） (2026-08-15T06:02:23Z)
• ColGraphRAG: Late-Interaction Evidence Retrieval for Multimodal GraphRAG [0.0]
  グラフリンク画像ノード上での視覚的候補ランク演算子を、ColBERT/ColPali系における遅延相互作用MaxSimスタイルのマルチベクトルスコアに置き換えることを評価する。 MultimodalQAでは、この変更は、グラフリンクされた画像候補と下流QAゲインの検索ステージ点推定の改善に関連している。
  論文  参考訳（メタデータ） (2026-05-09T08:30:18Z)
• Robust Multimodal Recommendation via Graph Retrieval-Enhanced Modality Completion [71.20734649881258]
  実世界のマルチモーダルデータセットは、センサーの故障、アノテーションの不足、プライバシーの制約によって、しばしばモダリティの不完全性に悩まされる。 効果的な解決策の1つはモダリティ補完であり、下流タスクのためのモダリティ完全グラフを提供するために欠落した特徴を再構成する。 本稿では,これらの制限を克服するグラフ検索拡張モード補完フレームワークであるGRE-MCを提案する。
  論文  参考訳（メタデータ） (2026-05-01T13:50:52Z)
• Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding [49.26132236798123]
  視覚言語モデル(VLM)は、文書理解における主要なアプローチになりつつある。 本稿では,粗いプロセスにおいて,検索者と4つの協調エージェントを編成するマルチエージェントフレームワークSLEUTHを提案する。 このフレームワークは、検索したページ内の重要なテキストおよび視覚的手がかりを特定し、テーブルやチャートなどの健全な視覚的エビデンスをフィルタし、クエリを分析して推論戦略を考案する。
  論文  参考訳（メタデータ） (2025-11-28T03:09:40Z)
• Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
  文書理解は、財務分析から科学的発見への応用に不可欠である。 現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。 Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
  論文  参考訳（メタデータ） (2025-10-17T02:33:16Z)
• Multimodal RAG for Unstructured Data:Leveraging Modality-Aware Knowledge Graphs with Hybrid Retrieval [1.160208922584163]
  モーダリティを意識した知識グラフを用いた多モーダル質問応答のためのモーダリティ・アウェア・ハイブリッド検索アーキテクチャ(MAHA)を提案する。 MAHAは、密接なベクトル検索と構造化グラフトラバーサルを統合し、知識グラフはクロスモーダルなセマンティクスと関係を符号化する。 我々の研究は、非構造化マルチモーダルデータに対するモダリティを考慮した推論を可能にすることにより、RAGシステムを進化させるスケーラブルで解釈可能な検索フレームワークを確立する。
  論文  参考訳（メタデータ） (2025-10-16T11:55:24Z)
• MIXRAG : Mixture-of-Experts Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [6.596018318578605]
  Retrieval-Augmented Generation (RAG)は、推論中に外部知識ソースを組み込むことで、Large Language Models (LLM)を強化する。 既存のアプローチのほとんどは、関連するサブグラフを特定するために単一のレトリバーに依存しており、複雑なクエリのさまざまな側面をキャプチャする能力を制限する。 そこで我々は,Mixture-of-Experts Graph-RAGフレームワークであるMIXRAGを提案する。
  論文  参考訳（メタデータ） (2025-09-24T02:44:57Z)
• Divide by Question, Conquer by Agent: SPLIT-RAG with Question-Driven Graph Partitioning [62.640169289390535]
  SPLIT-RAGは、質問駆動セマンティックグラフ分割と協調サブグラフ検索による制限に対処するマルチエージェントRAGフレームワークである。 革新的なフレームワークは、まずリンク情報のセマンティック分割を作成し、次にタイプ特化知識ベースを使用してマルチエージェントRAGを実現する。 属性対応グラフセグメンテーションは、知識グラフを意味的に一貫性のあるサブグラフに分割し、サブグラフが異なるクエリタイプと整合することを保証する。 階層的なマージモジュールは、論理的検証を通じて、部分グラフ由来の解答間の矛盾を解消する。
  論文  参考訳（メタデータ） (2025-05-20T06:44:34Z)
• Multimodal Multihop Source Retrieval for Web Question Answering [0.0]
  この研究はマルチモーダルなマルチホップ質問応答(QA)に対する学習と推論の課題を扱う。 文の意味構造に基づくグラフ推論ネットワークを提案し,多元的推論経路を学習する。
  論文  参考訳（メタデータ） (2025-01-07T22:53:56Z)
• VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation [100.06122876025063]
  本稿では,マルチドキュメント設定でQAシステムを評価するために設計された,初の総合ベンチマークであるVisDoMBenchを紹介する。 視覚とテキストのRAGを同時に利用する新しいマルチモーダル検索拡張生成(RAG)手法であるVisDoMRAGを提案する。
  論文  参考訳（メタデータ） (2024-12-14T06:24:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。