論文の概要: When Modalities Remember: Continual Learning for Multimodal Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2604.02778v1
• Date: Fri, 03 Apr 2026 06:40:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.354548
• Title: When Modalities Remember: Continual Learning for Multimodal Knowledge Graphs
• Title（参考訳）: モダリティ:マルチモーダルな知識グラフの継続的な学習
• Authors: Linyu Li, Zhi Jin, Yichi Zhang, Dongming Jin, Yuanpeng He, Haoran Duan, Gadeng Luosang, Nyima Tashi,
• Abstract要約: 実世界のマルチモーダル知識グラフ(MMKG)は動的であり、新しい実体、関係、多モーダル知識が時間とともに出現する。 既存の知識グラフ推論(CKGR)手法は構造的三重項に重点を置いており、新しい実体からのマルチモーダル信号を完全に活用することはできない。 連続多モード知識グラフ推論(CMMKGR)の体系的研究について述べる。 マルチモーダル・構造的協調カリキュラムを用いて、歴史グラフへの新しいトリプルの構造的接続に基づいて、プログレッシブラーニングをスケジュールする。
• 参考スコア（独自算出の注目度）: 37.80751349022448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world multimodal knowledge graphs (MMKGs) are dynamic, with new entities, relations, and multimodal knowledge emerging over time. Existing continual knowledge graph reasoning (CKGR) methods focus on structural triples and cannot fully exploit multimodal signals from new entities. Existing multimodal knowledge graph reasoning (MMKGR) methods, however, usually assume static graphs and suffer catastrophic forgetting as graphs evolve. To address this gap, we present a systematic study of continual multimodal knowledge graph reasoning (CMMKGR). We construct several continual multimodal knowledge graph benchmarks from existing MMKG datasets and propose MRCKG, a new CMMKGR model. Specifically, MRCKG employs a multimodal-structural collaborative curriculum to schedule progressive learning based on the structural connectivity of new triples to the historical graph and their multimodal compatibility. It also introduces a cross-modal knowledge preservation mechanism to mitigate forgetting through entity representation stability, relational semantic consistency, and modality anchoring. In addition, a multimodal contrastive replay scheme with a two-stage optimization strategy reinforces learned knowledge via multimodal importance sampling and representation alignment. Experiments on multiple datasets show that MRCKG preserves previously learned multimodal knowledge while substantially improving the learning of new knowledge.
• Abstract（参考訳）: 実世界のマルチモーダル知識グラフ(MMKG)は動的であり、新しい実体、関係、多モーダル知識が時間とともに出現する。 既存の知識グラフ推論(CKGR)手法は構造的三重項に重点を置いており、新しい実体からのマルチモーダル信号を完全に活用することはできない。 しかし、既存のマルチモーダル知識グラフ推論(MMKGR)法は、通常静的グラフを仮定し、グラフが進化するにつれて破滅的な忘れを被る。 このギャップに対処するため,連続多モード知識グラフ推論(CMMKGR)の体系的研究を行った。 既存のMMKGデータセットから連続的マルチモーダル知識グラフベンチマークを構築し,新しいCMMKGRモデルであるMRCKGを提案する。 具体的には、MRCKGは、履歴グラフへの新しいトリプルの構造的接続と、それらのマルチモーダル互換性に基づいて、プログレッシブラーニングをスケジュールするために、マルチモーダル-構造的協調カリキュラムを採用している。 また、エンティティ表現の安定性、関係性的なセマンティック一貫性、モダリティアンカリングを通じて忘れを緩和するクロスモーダルな知識保存機構も導入している。 さらに,2段階最適化戦略を持つマルチモーダル・コントラスト・リプレイ・スキームは,マルチモーダル・プライオリティ・サンプリングと表現アライメントを通じて学習知識を強化する。 複数のデータセットの実験では、MRCKGは学習済みのマルチモーダル知識を保存し、新しい知識の学習を大幅に改善している。

関連論文リスト

• VL-KGE: Vision-Language Models Meet Knowledge Graph Embeddings [14.36934698922473]
  VLM(Vision-Language Models)は、様々なモダリティを共有埋め込み空間内で整列させる強力な方法を提供する。 本稿では,VLMからの相互アライメントと構造的リレーショナルモデリングを統合するフレームワークであるVision-Language Knowledge Graph Embeddings (VL-KGE)を提案する。
  論文  参考訳（メタデータ） (2026-03-02T22:18:48Z)
• Graph4MM: Weaving Multimodal Learning with Structural Information [52.16646463590474]
  グラフは、モーダル内およびモーダル間関係をモデル化するための強力な構造情報を提供する。 それまでの作業では、マルチホップの隣人を区別できず、グラフをスタンドアローンのモダリティとして扱う。 グラフベースのマルチモーダル学習フレームワークであるGraph4MMを提案する。
  論文  参考訳（メタデータ） (2025-10-19T20:13:03Z)
• VAT-KG: Knowledge-Intensive Multimodal Knowledge Graph Dataset for Retrieval-Augmented Generation [16.248703946640735]
  マルチモーダル知識グラフ(MMKG)は、複数のモーダルにまたがる明示的な知識を表す。 Visual-Audio-Text Knowledge Graph (VAT-KG)は、概念中心で知識集約型のマルチモーダル知識グラフである。
  論文  参考訳（メタデータ） (2025-06-11T07:22:57Z)
• Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
  高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。 既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。 適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T06:36:17Z)
• Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation [51.80447197290866]
  マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としている。 既存のMMKGCメソッドは通常、事前訓練されたモデルでマルチモーダルな特徴を抽出する。 エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張する新しいフレームワークであるMyGOを紹介します。
  論文  参考訳（メタデータ） (2024-04-15T05:40:41Z)
• Zero-Shot Relational Learning for Multimodal Knowledge Graphs [31.215889061734295]
  多様なマルチモーダル情報と知識グラフ構造を統合するために, マルチモーダル学習者, 構造コンソリエータ埋め込みジェネレータという3つのコンポーネントからなる新しいエンドツーエンドフレームワークを提案する。 3つのマルチモーダル知識グラフの評価結果は,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-09T11:14:45Z)
• Continual Multimodal Knowledge Graph Construction [62.77243705682985]
  現在のマルチモーダル知識グラフ構築(MKGC)モデルは、絶え間なく出現する実体と関係の現実的なダイナミズムに苦慮している。 本研究では,連続的なMKGCドメインの開発を促進するためのベンチマークを紹介する。 マルチメディアデータ処理における既存のMKGCアプローチの欠点を克服するMSPTフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-05-15T14:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。