論文の概要: HERGC: Heterogeneous Experts Representation and Generative Completion for Multimodal Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2506.00826v1
• Date: Sun, 01 Jun 2025 04:12:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.682433
• Title: HERGC: Heterogeneous Experts Representation and Generative Completion for Multimodal Knowledge Graphs
• Title（参考訳）: HERGC:マルチモーダル知識グラフのための異種エキスパート表現と生成補完
• Authors: Yongkang Xiao, Rui Zhang,
• Abstract要約: マルチモーダル知識グラフ(MMKG)は、画像やテキストなどの多様なモダリティを統合することで、伝統的な知識グラフ(KG)を豊かにする。 MMKGCは、これらの異種信号を利用して、行方不明な事実を推測し、MMKGの本質的な不完全性を緩和しようとする。 近年,高度大言語モデル (LLMs) による生成的補完手法は,一助的知識グラフ補完において強い推論能力を示している。 本稿では,MMKGのためのヘテロジニアスエキスパート表現および生成コンプリートフレームワークであるHERGCを提案する。
• 参考スコア（独自算出の注目度）: 6.615362280237532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal knowledge graphs (MMKGs) enrich traditional knowledge graphs (KGs) by incorporating diverse modalities such as images and text. Multi-modal knowledge graph completion (MMKGC) seeks to exploit these heterogeneous signals to infer missing facts, thereby mitigating the intrinsic incompleteness of MMKGs. Existing MMKGC methods typically leverage only the information contained in the MMKGs under the closed-world assumption and adopt discriminative training objectives, which limits their reasoning capacity during completion. Recent generative completion approaches powered by advanced large language models (LLMs) have shown strong reasoning abilities in unimodal knowledge graph completion, but their potential in MMKGC remains largely unexplored. To bridge this gap, we propose HERGC, a Heterogeneous Experts Representation and Generative Completion framework for MMKGs. HERGC first deploys a Heterogeneous Experts Representation Retriever that enriches and fuses multimodal information and retrieves a compact candidate set for each incomplete triple. It then uses a Generative LLM Predictor fine-tuned on minimal instruction data to accurately identify the correct answer from these candidates. Extensive experiments on three standard MMKG benchmarks demonstrate HERGC's effectiveness and robustness, achieving state-of-the-art performance.
• Abstract（参考訳）: マルチモーダル知識グラフ(MMKG)は、画像やテキストなどの多様なモダリティを統合することで、伝統的な知識グラフ(KG)を豊かにする。 MMKGC(Multi-modal knowledge graph completion)は、これらの異種信号を利用して、行方不明な事実を推測し、MMKGの本質的な不完全性を緩和する。 既存のMMKGC手法は、通常、閉じた世界の仮定の下で、MMKGに含まれる情報のみを活用し、差別的な訓練目標を採用し、完成時の推論能力を制限する。 先進的な大規模言語モデル (LLM) を利用した最近の生成的補完手法は, 単調な知識グラフの完成において強い推論能力を示しているが, MMKGC におけるその可能性はほとんど解明されていない。 このギャップを埋めるために、MMKGのための異種エキスパート表現および生成コンプリートフレームワークであるHERGCを提案する。 HERGCはまず、マルチモーダル情報を強化して融合する不均一なエキスパート表現レトリバーをデプロイし、不完全な3倍体ごとに設定されたコンパクトな候補を検索する。 次に、最小限の命令データに基づいて微調整された生成LDM予測器を使用して、これらの候補からの正しい答えを正確に識別する。 3つの標準MMKGベンチマークの大規模な実験は、HERGCの有効性とロバスト性を示し、最先端の性能を達成する。

関連論文リスト

• Hyper-modal Imputation Diffusion Embedding with Dual-Distillation for Federated Multimodal Knowledge Graph Completion [59.54067771781552]
  本稿では,FedMKGCのマルチモーダル不確実性とマルチモーダルクライアントの不均一性問題に対処するMMFeD3-HidEというフレームワークを提案する。 本稿では,MMFedEという一般的なFedMKGCバックボーン,異種マルチモーダル情報を持つデータセット,構築されたベースラインの3つのグループからなる総合評価のためのFedMKGCベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-06-27T09:32:58Z)
• MARIOH: Multiplicity-Aware Hypergraph Reconstruction [26.07529457537888]
  エッジ乗法を利用して,投影されたグラフからオリジナルのハイパーグラフを再構成するための教師付きアプローチであるMARIOHを提案する。 10個の実世界のデータセットを用いた実験で,MARIOHは最先端の手法と比較して最大74.51%高い再現精度を達成した。
  論文  参考訳（メタデータ） (2025-04-01T08:14:59Z)
• GFM-RAG: Graph Foundation Model for Retrieval Augmented Generation [84.41557981816077]
  本稿では,新しいグラフ基盤モデル (GFM) である GFM-RAG について紹介する。 GFM-RAGは、複雑なクエリ-知識関係をキャプチャするグラフ構造を理由とする、革新的なグラフニューラルネットワークによって実現されている。 効率とニューラルスケーリング法則との整合性を維持しつつ、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-03T07:04:29Z)
• Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
  高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。 既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。 適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T06:36:17Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation [51.80447197290866]
  マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としている。 既存のMMKGCメソッドは通常、事前訓練されたモデルでマルチモーダルな特徴を抽出する。 エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張する新しいフレームワークであるMyGOを紹介します。
  論文  参考訳（メタデータ） (2024-04-15T05:40:41Z)
• Knowledge Graphs Meet Multi-Modal Learning: A Comprehensive Survey [61.8716670402084]
  本調査は,KG-driven Multi-Modal Learning(KG4MM)とMulti-Modal Knowledge Graph(MM4KG)の2つの主要な側面におけるKG認識研究に焦点を当てる。 KG対応マルチモーダル学習タスクと本質的MMKGタスクの2つの主要なタスクカテゴリについて検討した。 これらのタスクの多くに対して、定義、評価ベンチマークを提供し、関連する研究を行うための重要な洞察を概説する。
  論文  参考訳（メタデータ） (2024-02-08T04:04:36Z)
• MACO: A Modality Adversarial and Contrastive Framework for Modality-missing Multi-modal Knowledge Graph Completion [18.188971531961663]
  本稿では,MMKGCにおけるモダリティ欠落問題を解決するために,モダリティ対向・コントラッシブ・フレームワーク(MACO)を提案する。 MACOは、MMKGCモデルに組み込むことができる欠落したモダリティ特徴を生成するために、ジェネレータと識別器を逆さまに訓練する。
  論文  参考訳（メタデータ） (2023-08-13T06:29:38Z)
• Knowledge Graph Completion with Pre-trained Multimodal Transformer and Twins Negative Sampling [13.016173217017597]
  本稿では,VBKGC(VisualBERT-enhanced Knowledge Graph Completion Model)を提案する。 VBKGCは、エンティティの深く融合したマルチモーダル情報をキャプチャし、それらをKGCモデルに統合することができる。 リンク予測タスクにおいて,VBKGCの優れた性能を示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-09-15T06:50:31Z)
• Multi-Modal Knowledge Graph Construction and Application: A Survey [17.203534055251435]
  知識グラフのマルチモーダル化は、人間レベルのマシンインテリジェンスの実現に向けた必然的な重要なステップである。 まず、テキストや画像によって構築されたMMKGの定義と、マルチモーダルなタスクやテクニックに関する予備的な定義を示す。 次に,MMKGの構築と適用における課題,進歩,機会を,それぞれ体系的に検討し,それぞれの解の強度と弱さを詳細に分析した。
  論文  参考訳（メタデータ） (2022-02-11T17:31:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。