論文の概要: Multi-Granularity Context-Enhanced RAG over Multimodal Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2608.25986v1
- Date: Wed, 26 Aug 2026 16:38:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.911488
- Title: Multi-Granularity Context-Enhanced RAG over Multimodal Knowledge Graphs
- Title（参考訳）: マルチモーダル知識グラフを用いたマルチグラニュラリティコンテキスト拡張RAG
- Abstract要約: Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)やマルチモーダル大規模言語モデル(MLLM)における幻覚の問題を緩和するために広く用いられている。
- 参考スコア（独自算出の注目度）: 47.75183060175264
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented generation (RAG) is widely used to mitigate hallucination issues in large language models (LLMs) and multimodal large language models (MLLMs). In particular, knowledge graph (KG)-based RAG leverages structured knowledge to provide (M)LLMs with high-quality external information. Building on these works, recent studies have explored multimodal knowledge graphs (MMKGs) as knowledge bases for GraphRAG. This enables Graph RAG to integrate knowledge across multiple modalities, thereby further enhancing its performance. However, existing MMKG-based RAG methods generally follow a common pipeline in which different modalities are largely processed independently before being fusion. As a result, textual context is only used to a limited extent during visual information extraction and subsequent multimodal knowledge fusion. This brings a semantic gap between images and text which limits the multimodal GraphRAG performance. To address this issue, we propose a novel framework for constructing a Context-Enhanced MMKG (CEMMKG) to better support multimodal GraphRAG. The proposed CEMMKG enriches each image with complementary textual context at both local and global scopes. Local context goes beyond the surrounding text by incorporating sentences that are semantically related to the image, while global context provides a summary of the entire passage. We further introduce a multi-granularity design for the local context, allowing it to capture semantically relevant information at different levels of detail. Extensive experiments on the selected vision-centric dataset validate that CEMMKG is effective in leveraging contextual information to improve MMKG-based RAG performance. Moreover, its effectiveness across different MMKG-based RAG methods demonstrates its broad applicability.
- Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)やマルチモーダル大規模言語モデル(MLLM)における幻覚の問題を緩和するために広く用いられている。
特に、知識グラフ(KG)に基づくRAGは構造化知識を活用し、(M)LLMに高品質な外部情報を提供する。
これらの研究に基づいて、近年の研究では、マルチモーダル知識グラフ(MMKG)をグラフRAGの知識基盤として検討している。
これにより、Graph RAGは複数のモダリティにまたがる知識の統合が可能になり、パフォーマンスがさらに向上する。
しかし、既存のMMKGベースのRAG法は一般的に、異なるモダリティが融合前に独立して処理される共通のパイプラインに従う。
その結果、テキストコンテキストは、視覚情報抽出とその後のマルチモーダル知識融合の間、限られた範囲でのみ使用される。
これにより、画像とテキスト間のセマンティックなギャップが生じ、マルチモーダルなGraphRAGのパフォーマンスが制限される。
この問題に対処するために,マルチモーダルグラフRAGをより良くサポートするコンテキスト拡張MMKG(CEMMKG)を構築するための新しいフレームワークを提案する。
提案したCEMMKGは,各画像を局所的・大域的に補完的なテキストコンテキストで拡張する。
ローカルコンテキストは、画像に意味論的に関連付けられた文を組み込むことによって、周囲のテキストを超える。
さらに、局所的なコンテキストに対して多粒度設計を導入し、異なるレベルの詳細で意味的に関連のある情報をキャプチャできるようにする。
選択した視覚中心のデータセットに対する広範囲な実験により、CEMMKGは文脈情報を活用し、MMKGに基づくRAG性能を向上させるのに有効であることが示された。
さらに,様々なMMKGに基づくRAG法に適用可能であることを示す。
関連論文リスト
- Referring Multiple Regions with Large Multimodal Models via Contextual Latent Steering [51.54461480047943]
本研究では,複数の領域を文脈的に参照するための一般LMMを指導するためのトレーニング不要なアプローチであるCSteerを紹介した。
CSteerは、視覚的な参照動作を暗黙的に表現する事前計算のコンテキストベクトルから始める。
実験の結果,CSteer を用いた一般 LMM は LMM よりも優れていた。
論文 参考訳（メタデータ） (2026-05-03T11:34:36Z) - MegaRAG: Multimodal Knowledge Graph-Based Retrieval Augmented Generation [17.382062394739588]
大規模言語モデル(LLM)は、コンテキストウィンドウが限られているため、高レベルな概念的理解と包括的理解に苦慮する。
本稿では,マルチモーダルな知識グラフに基づくRAGを導入し,より優れたコンテンツ理解のためのクロスモーダル推論を実現する。
本手法では,知識グラフの構築,検索フェーズ,回答生成プロセスに視覚的手がかりを取り入れた。
論文 参考訳（メタデータ） (2025-11-26T05:00:03Z) - Multimodal RAG for Unstructured Data:Leveraging Modality-Aware Knowledge Graphs with Hybrid Retrieval [1.160208922584163]
モーダリティを意識した知識グラフを用いた多モーダル質問応答のためのモーダリティ・アウェア・ハイブリッド検索アーキテクチャ(MAHA)を提案する。
MAHAは、密接なベクトル検索と構造化グラフトラバーサルを統合し、知識グラフはクロスモーダルなセマンティクスと関係を符号化する。
我々の研究は、非構造化マルチモーダルデータに対するモダリティを考慮した推論を可能にすることにより、RAGシステムを進化させるスケーラブルで解釈可能な検索フレームワークを確立する。
論文 参考訳（メタデータ） (2025-10-16T11:55:24Z) - MMGraphRAG: Bridging Vision and Language with Interpretable Multimodal Knowledge Graphs [6.165053219836395]
本稿では,シーングラフを通して視覚コンテンツを洗練し,マルチモーダルな知識グラフを構築するMMGraphRAGを提案する。
スペクトルクラスタリングを用いてクロスモーダルなエンティティリンクを実現し、推論経路に沿ってコンテキストを取得して生成プロセスを導く。
実験結果から,MMGraphRAGはDocBenchとMMLongBenchのデータセット上で最先端の性能を実現することがわかった。
論文 参考訳（メタデータ） (2025-07-28T13:16:23Z) - VAT-KG: Knowledge-Intensive Multimodal Knowledge Graph Dataset for Retrieval-Augmented Generation [16.248703946640735]
マルチモーダル知識グラフ(MMKG)は、複数のモーダルにまたがる明示的な知識を表す。
Visual-Audio-Text Knowledge Graph (VAT-KG)は、概念中心で知識集約型のマルチモーダル知識グラフである。
論文 参考訳（メタデータ） (2025-06-11T07:22:57Z) - GRAPHGPT-O: Synergistic Multimodal Comprehension and Generation on Graphs [34.076036577516895]
テキストと画像は通常相互接続され、マルチモーダル属性グラフ(MMAG)を形成する
MLLMが関係情報 (textiti.e. graph structure) と意味情報 (textiti.e. texts and image) をこのようなグラフに組み込んで、マルチモーダルな理解と生成を行う方法が検討されている。
我々は,MMAGにおける全多モーダル理解と生成を支援するGraphGPT-oを提案する。
論文 参考訳（メタデータ） (2025-02-17T15:35:36Z) - VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation [100.06122876025063]
本稿では,マルチドキュメント設定でQAシステムを評価するために設計された,初の総合ベンチマークであるVisDoMBenchを紹介する。
視覚とテキストのRAGを同時に利用する新しいマルチモーダル検索拡張生成(RAG)手法であるVisDoMRAGを提案する。
論文 参考訳（メタデータ） (2024-12-14T06:24:55Z) - Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。
提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
論文 参考訳（メタデータ） (2024-06-18T13:35:25Z) - Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation [51.80447197290866]
マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としている。
既存のMMKGCメソッドは通常、事前訓練されたモデルでマルチモーダルな特徴を抽出する。
エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張する新しいフレームワークであるMyGOを紹介します。
論文 参考訳（メタデータ） (2024-04-15T05:40:41Z) - Information Screening whilst Exploiting! Multimodal Relation Extraction
with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。
内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-19T14:56:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。