論文の概要: MMKG-R1: Constructing Multimodal Knowledge Graphs via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.19341v1
• Date: Wed, 14 Oct 2026 00:35:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.862028
• Title: MMKG-R1: Constructing Multimodal Knowledge Graphs via Reinforcement Learning
• Title（参考訳）: MMKG-R1:強化学習によるマルチモーダル知識グラフの構築
• Abstract要約: マルチモーダル知識グラフ(MMKG)は、多モーダルグラフ検索拡張生成(RAG)をサポートするために、様々なモーダルをまたいだ情報を整理する 本稿では,MLLMをマルチモーダル知識コンストラクタとしてトレーニングするための,MMKG品質駆動型RLフレームワークMMKG-R1を提案する。
• 参考スコア（独自算出の注目度）: 47.831373042323385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal knowledge graphs (MMKGs) organize information across different modalities to support multimodal Graph Retrieval-Augmented Generation (RAG), which aims to improve the performance of multimodal large language models (MLLMs). The effectiveness of these multimodal Graph RAG methods largely depends on the quality of the constructed MMKGs. However, most existing methods construct MMKGs without explicit guidance on graph quality, while reinforcement learning (RL)-based methods that rely on final-answer correctness may provide only indirect feedback on MMKG quality. To address these limitations, we propose MMKG-R1, a novel MMKG-quality-driven RL framework for training an MLLM as a multimodal knowledge constructor. To be specific, MMKG-R1 introduces multiple quality-aware rewards to directly evaluate both the quality of information extracted from individual knowledge sources and the quality of the assembled MMKG. These rewards are then used to guide the RL training. Experiments across multiple datasets show that MMKG-R1 constructs MMKGs that improve downstream question-answering accuracy.
• Abstract（参考訳）: マルチモーダル知識グラフ(MMKG)は、多モーダルグラフ検索・拡張生成(RAG)をサポートするため、様々なモーダルの情報を整理する。 これらのマルチモーダルグラフRAG法の有効性は、構築されたMMKGの品質に大きく依存する。 しかし,ほとんどの既存手法はグラフ品質に関する明確なガイダンスを伴わないMMKGを構築する一方で,最終回答の正しさに依存した強化学習(RL)に基づく手法は,MMKGの品質に対する間接的なフィードバックしか得られない。 本稿では,MLLMをマルチモーダル知識コンストラクタとしてトレーニングするためのMMKG-R1を提案する。 具体的には、MMKG-R1は複数の品質認識報酬を導入し、個々の知識ソースから抽出された情報の品質と、組み立てられたMMKGの品質の両方を直接評価する。 これらの報酬はRLトレーニングのガイドに使用される。 複数のデータセットにまたがる実験により、MMKG-R1は、下流の質問応答精度を改善するMMKGを構築する。

関連論文リスト

• Every Little Helps: Building Knowledge Graph Foundation Model with Fine-grained Transferable Multi-modal Tokens [60.15844119489298]
  マルチモーダル知識グラフ推論(MMKGR)は、グラフ構造情報とマルチモーダルエンティティコンテンツの両方を活用することで、欠落したリンクを予測することを目的としている。 本稿では,MMKGR のトークンベース基盤モデル (TOFU) を提案する。 17のトランスダクティブ, インダクティブ, フルインダクティブMMKGによる実験結果から, TOFUは強いKGFM, MMKGRベースラインより一貫して優れていた。
  論文  参考訳（メタデータ） (2026-02-11T13:32:09Z)
• HERGC: Heterogeneous Experts Representation and Generative Completion for Multimodal Knowledge Graphs [6.615362280237532]
  マルチモーダル知識グラフ(MMKG)は、画像やテキストなどの多様なモダリティを統合することで、伝統的な知識グラフ(KG)を豊かにする。 マルチモーダル知識グラフ補完(MMKGC)は、欠落した事実を推測するためにこれらの異種信号を活用する。 HERGCはMMKGのためのフレキシブルな異種エキスパート表現および生成コンプリートフレームワークである。
  論文  参考訳（メタデータ） (2025-06-01T04:12:25Z)
• Multimodal Reasoning with Multimodal Knowledge Graph [19.899398342533722]
  大規模言語モデル(LLM)を用いたマルチモーダル推論は、幻覚や、不十分な知識や時代遅れな知識の存在に悩まされることが多い。 マルチモーダル知識グラフを用いたマルチモーダル推論(MR-MKG)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:13:23Z)
• Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation [51.80447197290866]
  マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としている。 既存のMMKGCメソッドは通常、事前訓練されたモデルでマルチモーダルな特徴を抽出する。 エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張する新しいフレームワークであるMyGOを紹介します。
  論文  参考訳（メタデータ） (2024-04-15T05:40:41Z)
• Knowledge Graphs Meet Multi-Modal Learning: A Comprehensive Survey [61.8716670402084]
  本調査は,KG-driven Multi-Modal Learning(KG4MM)とMulti-Modal Knowledge Graph(MM4KG)の2つの主要な側面におけるKG認識研究に焦点を当てる。 KG対応マルチモーダル学習タスクと本質的MMKGタスクの2つの主要なタスクカテゴリについて検討した。 これらのタスクの多くに対して、定義、評価ベンチマークを提供し、関連する研究を行うための重要な洞察を概説する。
  論文  参考訳（メタデータ） (2024-02-08T04:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。