論文の概要: HERGC: Heterogeneous Experts Representation and Generative Completion for Multimodal Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2506.00826v1
• Date: Sun, 01 Jun 2025 04:12:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.682433
• Title: HERGC: Heterogeneous Experts Representation and Generative Completion for Multimodal Knowledge Graphs
• Title（参考訳）: HERGC:マルチモーダル知識グラフのための異種エキスパート表現と生成補完
• Authors: Yongkang Xiao, Rui Zhang,
• Abstract要約: マルチモーダル知識グラフ(MMKG)は、画像やテキストなどの多様なモダリティを統合することで、伝統的な知識グラフ(KG)を豊かにする。 MMKGCは、これらの異種信号を利用して、行方不明な事実を推測し、MMKGの本質的な不完全性を緩和しようとする。 近年,高度大言語モデル (LLMs) による生成的補完手法は,一助的知識グラフ補完において強い推論能力を示している。 本稿では,MMKGのためのヘテロジニアスエキスパート表現および生成コンプリートフレームワークであるHERGCを提案する。
• 参考スコア（独自算出の注目度）: 6.615362280237532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal knowledge graphs (MMKGs) enrich traditional knowledge graphs (KGs) by incorporating diverse modalities such as images and text. Multi-modal knowledge graph completion (MMKGC) seeks to exploit these heterogeneous signals to infer missing facts, thereby mitigating the intrinsic incompleteness of MMKGs. Existing MMKGC methods typically leverage only the information contained in the MMKGs under the closed-world assumption and adopt discriminative training objectives, which limits their reasoning capacity during completion. Recent generative completion approaches powered by advanced large language models (LLMs) have shown strong reasoning abilities in unimodal knowledge graph completion, but their potential in MMKGC remains largely unexplored. To bridge this gap, we propose HERGC, a Heterogeneous Experts Representation and Generative Completion framework for MMKGs. HERGC first deploys a Heterogeneous Experts Representation Retriever that enriches and fuses multimodal information and retrieves a compact candidate set for each incomplete triple. It then uses a Generative LLM Predictor fine-tuned on minimal instruction data to accurately identify the correct answer from these candidates. Extensive experiments on three standard MMKG benchmarks demonstrate HERGC's effectiveness and robustness, achieving state-of-the-art performance.
• Abstract（参考訳）: マルチモーダル知識グラフ(MMKG)は、画像やテキストなどの多様なモダリティを統合することで、伝統的な知識グラフ(KG)を豊かにする。 MMKGC(Multi-modal knowledge graph completion)は、これらの異種信号を利用して、行方不明な事実を推測し、MMKGの本質的な不完全性を緩和する。 既存のMMKGC手法は、通常、閉じた世界の仮定の下で、MMKGに含まれる情報のみを活用し、差別的な訓練目標を採用し、完成時の推論能力を制限する。 先進的な大規模言語モデル (LLM) を利用した最近の生成的補完手法は, 単調な知識グラフの完成において強い推論能力を示しているが, MMKGC におけるその可能性はほとんど解明されていない。 このギャップを埋めるために、MMKGのための異種エキスパート表現および生成コンプリートフレームワークであるHERGCを提案する。 HERGCはまず、マルチモーダル情報を強化して融合する不均一なエキスパート表現レトリバーをデプロイし、不完全な3倍体ごとに設定されたコンパクトな候補を検索する。 次に、最小限の命令データに基づいて微調整された生成LDM予測器を使用して、これらの候補からの正しい答えを正確に識別する。 3つの標準MMKGベンチマークの大規模な実験は、HERGCの有効性とロバスト性を示し、最先端の性能を達成する。

関連論文リスト

• Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
  高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。 既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。 適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T06:36:17Z)
• Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation [51.80447197290866]
  マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としている。 既存のMMKGCメソッドは通常、事前訓練されたモデルでマルチモーダルな特徴を抽出する。 エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張する新しいフレームワークであるMyGOを紹介します。
  論文  参考訳（メタデータ） (2024-04-15T05:40:41Z)
• Knowledge Graph Completion with Pre-trained Multimodal Transformer and Twins Negative Sampling [13.016173217017597]
  本稿では,VBKGC(VisualBERT-enhanced Knowledge Graph Completion Model)を提案する。 VBKGCは、エンティティの深く融合したマルチモーダル情報をキャプチャし、それらをKGCモデルに統合することができる。 リンク予測タスクにおいて,VBKGCの優れた性能を示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-09-15T06:50:31Z)
• Multi-Modal Knowledge Graph Construction and Application: A Survey [17.203534055251435]
  知識グラフのマルチモーダル化は、人間レベルのマシンインテリジェンスの実現に向けた必然的な重要なステップである。 まず、テキストや画像によって構築されたMMKGの定義と、マルチモーダルなタスクやテクニックに関する予備的な定義を示す。 次に,MMKGの構築と適用における課題,進歩,機会を,それぞれ体系的に検討し,それぞれの解の強度と弱さを詳細に分析した。
  論文  参考訳（メタデータ） (2022-02-11T17:31:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。