論文の概要: MMGraphRAG: Bridging Vision and Language with Interpretable Multimodal Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2507.20804v1
• Date: Mon, 28 Jul 2025 13:16:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:58.127759
• Title: MMGraphRAG: Bridging Vision and Language with Interpretable Multimodal Knowledge Graphs
• Title（参考訳）: MMGraphRAG: 解釈可能なマルチモーダル知識グラフによる視覚と言語をブリッジする
• Authors: Xueyao Wan, Hang Yu,
• Abstract要約: 本稿では,シーングラフを通して視覚コンテンツを洗練し,マルチモーダルな知識グラフを構築するMMGraphRAGを提案する。 スペクトルクラスタリングを用いてクロスモーダルなエンティティリンクを実現し、推論経路に沿ってコンテキストを取得して生成プロセスを導く。 実験結果から,MMGraphRAGはDocBenchとMMLongBenchのデータセット上で最先端の性能を実現することがわかった。
• 参考スコア（独自算出の注目度）: 6.165053219836395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) enhances language model generation by retrieving relevant information from external knowledge bases. However, conventional RAG methods face the issue of missing multimodal information. Multimodal RAG methods address this by fusing images and text through mapping them into a shared embedding space, but they fail to capture the structure of knowledge and logical chains between modalities. Moreover, they also require large-scale training for specific tasks, resulting in limited generalizing ability. To address these limitations, we propose MMGraphRAG, which refines visual content through scene graphs and constructs a multimodal knowledge graph (MMKG) in conjunction with text-based KG. It employs spectral clustering to achieve cross-modal entity linking and retrieves context along reasoning paths to guide the generative process. Experimental results show that MMGraphRAG achieves state-of-the-art performance on the DocBench and MMLongBench datasets, demonstrating strong domain adaptability and clear reasoning paths.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、外部知識ベースから関連する情報を取得することにより、言語モデル生成を強化する。 しかし,従来のRAG手法ではマルチモーダル情報の欠落が問題となっている。 マルチモーダルRAG法は、画像とテキストを共有埋め込み空間にマッピングすることでこの問題に対処するが、それらはモダリティ間の知識と論理的連鎖の構造を捉えることができない。 さらに、特定のタスクに対する大規模なトレーニングも必要であり、結果として一般化能力が制限される。 これらの制約に対処するために,シーングラフを通して視覚コンテンツを洗練し,テキストベースのKGと連動してマルチモーダル知識グラフ(MMKG)を構築するMMGraphRAGを提案する。 スペクトルクラスタリングを用いてクロスモーダルなエンティティリンクを実現し、推論経路に沿ってコンテキストを取得して生成プロセスを導く。 実験の結果,MMGraphRAGはDocBenchおよびMMLongBenchデータセット上での最先端性能を実現し,強いドメイン適応性と明確な推論経路を示すことがわかった。

関連論文リスト

• VimRAG: Navigating Massive Visual Context in Retrieval-Augmented Generation via Multimodal Memory Graph [42.348770377488094]
  VimRAGは、テキスト、画像、ビデオにまたがるマルチモーダル検索拡張推論に適したフレームワークである。 軌道レベルの報酬から段階的妥当性を分離するグラフガイド型ポリシー最適化手法を提案する。 実験により、VimRAGは様々なマルチモーダルRAGベンチマークにおける最先端のパフォーマンスを一貫して達成していることが示された。
  論文  参考訳（メタデータ） (2026-02-13T09:05:09Z)
• RAG-GFM: Overcoming In-Memory Bottlenecks in Graph Foundation Models via Retrieval-Augmented Generation [27.59455285600957]
  Graph Foundation Models (GFMs) はグラフ学習のフロンティアとして登場し、さまざまなタスク間で伝達可能な表現を提供することが期待されている。 本稿では,パラメータから知識をオフロードする検索型生成支援グラフ基礎モデルであるRAG-GFMを提案する。 RAG-GFMは、クロスドメインノードとグラフ分類の両方において、13の最先端のベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-01-21T16:02:43Z)
• MegaRAG: Multimodal Knowledge Graph-Based Retrieval Augmented Generation [17.382062394739588]
  大規模言語モデル(LLM)は、コンテキストウィンドウが限られているため、高レベルな概念的理解と包括的理解に苦慮する。 本稿では,マルチモーダルな知識グラフに基づくRAGを導入し,より優れたコンテンツ理解のためのクロスモーダル推論を実現する。 本手法では,知識グラフの構築,検索フェーズ,回答生成プロセスに視覚的手がかりを取り入れた。
  論文  参考訳（メタデータ） (2025-11-26T05:00:03Z)
• Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
  文書理解は、財務分析から科学的発見への応用に不可欠である。 現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。 Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
  論文  参考訳（メタデータ） (2025-10-17T02:33:16Z)
• Multimodal RAG for Unstructured Data:Leveraging Modality-Aware Knowledge Graphs with Hybrid Retrieval [1.160208922584163]
  モーダリティを意識した知識グラフを用いた多モーダル質問応答のためのモーダリティ・アウェア・ハイブリッド検索アーキテクチャ(MAHA)を提案する。 MAHAは、密接なベクトル検索と構造化グラフトラバーサルを統合し、知識グラフはクロスモーダルなセマンティクスと関係を符号化する。 我々の研究は、非構造化マルチモーダルデータに対するモダリティを考慮した推論を可能にすることにより、RAGシステムを進化させるスケーラブルで解釈可能な検索フレームワークを確立する。
  論文  参考訳（メタデータ） (2025-10-16T11:55:24Z)
• G-reasoner: Foundation Models for Unified Reasoning over Graph-structured Knowledge [88.82814893945077]
  大規模言語モデル(LLM)は複雑な推論において優れているが、静的かつ不完全なパラメトリック知識によって制限される。 最近のグラフ強化RAG (GraphRAG) は、このギャップを補足したグラフを構築し、LLMがそれらを推論できるようにする。 G-reasonerは、様々なグラフ構造化知識を推論するためにグラフと言語基盤モデルを統合した統合フレームワークである。
  論文  参考訳（メタデータ） (2025-09-29T04:38:12Z)
• Enrich-on-Graph: Query-Graph Alignment for Complex Reasoning with LLM Enriching [61.824094419641575]
  大言語モデル(LLM)は知識グラフ質問応答(KGQA)のような知識集約的なシナリオにおける幻覚と事実的誤りに苦しむ これは、構造化知識グラフ(KG)と非構造化クエリのセマンティックギャップによるもので、その焦点や構造に固有の違いが原因である。 既存の手法は通常、バニラKGの資源集約的で非スケーリング可能な推論を用いるが、このギャップを見落としている。 我々は、LLMの事前知識を活用してKGを充実させる柔軟なフレームワークEnrich-on-Graph(EoG)を提案し、グラフとクエリ間のセマンティックギャップを埋める。
  論文  参考訳（メタデータ） (2025-09-25T06:48:52Z)
• GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
  本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。 抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。 提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-20T02:38:00Z)
• DSRAG: A Domain-Specific Retrieval Framework Based on Document-derived Multimodal Knowledge Graph [4.951890767337337]
  この研究は、生成プロセスにおける知識グラフ品質の重要な役割を強調したグラフベースのRAGフレームワークに焦点を当てている。 ドメイン固有アプリケーション向けに設計されたマルチモーダルな知識グラフ駆動検索拡張生成フレームワークであるDSRAGを提案する。
  論文  参考訳（メタデータ） (2025-08-22T14:24:48Z)
• Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
  大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。 既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。 近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。 KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
  論文  参考訳（メタデータ） (2025-06-11T12:03:52Z)
• VAT-KG: Knowledge-Intensive Multimodal Knowledge Graph Dataset for Retrieval-Augmented Generation [3.1033038923749774]
  視覚情報,音声情報,テキスト情報を網羅する,概念中心の知識集約型マルチモーダル知識グラフを提案する。 構築パイプラインは,マルチモーダルデータと細粒度セマンティクスの相互知識アライメントを保証する。 本稿では,任意のモダリティからクエリに応答して,概念レベルの詳細な知識を検索する,新しいマルチモーダルRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-11T07:22:57Z)
• MLaGA: Multimodal Large Language and Graph Assistant [9.985787670804823]
  大規模言語モデル (LLMs) は, グラフ構造化データ解析の進歩に有効であることを示す。 複雑なグラフ構造やマルチモーダル属性の推論を容易にするため,LLM機能を拡張する革新的なモデルであるMultimodal Large Language and Graph Assistant (MLaGA)を導入する。
  論文  参考訳（メタデータ） (2025-06-03T07:52:00Z)
• Align-GRAG: Reasoning-Guided Dual Alignment for Graph Retrieval-Augmented Generation [75.9865035064794]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、幻覚や時代遅れの情報といった問題に苦戦している。 Retrieval-augmented Generation (RAG) は、情報検索システム(IR)を用いて、外部知識のLLM出力を基底にすることで、これらの問題に対処する。 本稿では、検索後句における新しい推論誘導二重アライメントフレームワークであるAlign-GRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-22T05:15:27Z)
• Divide by Question, Conquer by Agent: SPLIT-RAG with Question-Driven Graph Partitioning [62.640169289390535]
  SPLIT-RAGは、質問駆動セマンティックグラフ分割と協調サブグラフ検索による制限に対処するマルチエージェントRAGフレームワークである。 革新的なフレームワークは、まずリンク情報のセマンティック分割を作成し、次にタイプ特化知識ベースを使用してマルチエージェントRAGを実現する。 属性対応グラフセグメンテーションは、知識グラフを意味的に一貫性のあるサブグラフに分割し、サブグラフが異なるクエリタイプと整合することを保証する。 階層的なマージモジュールは、論理的検証を通じて、部分グラフ由来の解答間の矛盾を解消する。
  論文  参考訳（メタデータ） (2025-05-20T06:44:34Z)
• Aligning Vision to Language: Annotation-Free Multimodal Knowledge Graph Construction for Enhanced LLMs Reasoning [10.761218096540976]
  LLM(Large Language Models)におけるマルチモーダル推論は、不完全な知識と幻覚に苦しむ。 本稿では,マルチモーダルな知識グラフを構築するための新しいアプローチであるVaLiK(Vision-Align-to-Language Integrated Knowledge Graph)を提案する。
  論文  参考訳（メタデータ） (2025-03-17T09:31:14Z)
• Pseudo-Knowledge Graph: Meta-Path Guided Retrieval and In-Graph Text for RAG-Equipped LLM [8.941718961724984]
  Pseudo-Knowledge Graph (PKG)フレームワークはメタパス検索、イングラフテキスト、ベクトル検索を大規模言語モデルに統合する。 PKGはより豊かな知識表現を提供し、情報検索の精度を向上させる。
  論文  参考訳（メタデータ） (2025-03-01T02:39:37Z)
• UniGraph2: Learning a Unified Embedding Space to Bind Multimodal Graphs [34.48393396390799]
  マルチモーダルグラフ上での汎用的な表現学習を可能にする新しいクロスドメイングラフ基盤モデルを提案する。 UniGraph2は、グラフニューラルネットワーク(GNN)と共にモダリティ固有のエンコーダを使用して、統一された低次元埋め込み空間を学習する。 我々は,UniGraph2が表現学習,伝達学習,マルチモーダル生成タスクなどのタスクにおいて,最先端モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-02T14:04:53Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation [51.80447197290866]
  マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としている。 既存のMMKGCメソッドは通常、事前訓練されたモデルでマルチモーダルな特徴を抽出する。 エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張する新しいフレームワークであるMyGOを紹介します。
  論文  参考訳（メタデータ） (2024-04-15T05:40:41Z)
• Compositional Chain-of-Thought Prompting for Large Multimodal Models [46.721769077885966]
  CCoT(コンポジション・チェーン・オブ・ソート)は、新規なゼロショット・オブ・ソート・プロンプト法である。 まず,Large Language Model(LLM)を用いてSGを生成し,そのSGをプロンプトに使用して応答を生成する。 提案手法は,LMMの性能向上だけでなく,一般的なマルチモーダルベンチマーク上でのLMMの性能向上にも寄与する。
  論文  参考訳（メタデータ） (2023-11-27T22:23:27Z)
• Information Screening whilst Exploiting! Multimodal Relation Extraction with Feature Denoising and Multimodal Topic Modeling [96.75821232222201]
  既存のマルチモーダル関係抽出(MRE)研究は、内部情報過剰利用と外部情報過多という2つの共存課題に直面している。 内部情報スクリーニングと外部情報活用を同時に実現する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。