論文の概要: HERGC: Heterogeneous Experts Representation and Generative Completion for Multimodal Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2506.00826v2
- Date: Fri, 08 Aug 2025 18:42:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 16:55:52.966165
- Title: HERGC: Heterogeneous Experts Representation and Generative Completion for Multimodal Knowledge Graphs
- Title（参考訳）: HERGC:マルチモーダル知識グラフのための異種エキスパート表現と生成補完
- Authors: Yongkang Xiao, Rui Zhang,
- Abstract要約: マルチモーダル知識グラフ(MMKG)は、画像やテキストなどの多様なモダリティを統合することで、伝統的な知識グラフ(KG)を豊かにする。
マルチモーダル知識グラフ補完(MMKGC)は、欠落した事実を推測するためにこれらの異種信号を活用する。
HERGCはMMKGのためのフレキシブルな異種エキスパート表現および生成コンプリートフレームワークである。
- 参考スコア（独自算出の注目度）: 6.615362280237532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal knowledge graphs (MMKGs) enrich traditional knowledge graphs (KGs) by incorporating diverse modalities such as images and text. multimodal knowledge graph completion (MMKGC) seeks to exploit these heterogeneous signals to infer missing facts, thereby mitigating the intrinsic incompleteness of MMKGs. Existing MMKGC methods typically leverage only the information contained in the MMKGs under the closed-world assumption and adopt discriminative training objectives, which limits their reasoning capacity during completion. Recent large language models (LLMs), empowered by massive parameter scales and pretraining on vast corpora, have demonstrated strong reasoning abilities across various tasks. However, their potential in MMKGC remains largely unexplored. To bridge this gap, we propose HERGC, a flexible Heterogeneous Experts Representation and Generative Completion framework for MMKGs. HERGC first deploys a Heterogeneous Experts Representation Retriever that enriches and fuses multimodal information and retrieves a compact candidate set for each incomplete triple. It then uses a Generative LLM Predictor, implemented via either in-context learning or lightweight fine-tuning, to accurately identify the correct answer from these candidates. Extensive experiments on three standard MMKG benchmarks demonstrate HERGC's effectiveness and robustness, achieving superior performance over existing methods.
- Abstract（参考訳）: マルチモーダル知識グラフ(MMKG)は、画像やテキストなどの多様なモダリティを統合することで、伝統的な知識グラフ(KG)を豊かにする。
マルチモーダル知識グラフ補完(MMKGC)は、これらの異種信号を利用して、行方不明な事実を推測し、MMKGの本質的な不完全性を緩和する。
既存のMMKGC手法は、通常、閉じた世界の仮定の下で、MMKGに含まれる情報のみを活用し、差別的な訓練目標を採用し、完成時の推論能力を制限する。
近年の大規模言語モデル (LLM) は, 大規模パラメータスケールと大規模コーパスの事前学習によって, 様々なタスクにまたがる強力な推論能力を示している。
しかし、MMKGCにおけるその可能性はほとんど解明されていない。
このギャップを埋めるため、MMKGのためのフレキシブルな不均一なエキスパート表現と生成コンプリートフレームワークであるHERGCを提案する。
HERGCはまず、マルチモーダル情報を強化して融合する不均一なエキスパート表現レトリバーをデプロイし、不完全な3倍体ごとに設定されたコンパクトな候補を検索する。
次に、ジェネレーティブLSM予測器を使用して、コンテキスト内学習または軽量微調整によって実装され、これらの候補から正しい答えを正確に識別する。
3つの標準MMKGベンチマークの大規模な実験は、HERGCの有効性とロバスト性を示し、既存の手法よりも優れた性能を実現している。
関連論文リスト
- Hyper-modal Imputation Diffusion Embedding with Dual-Distillation for Federated Multimodal Knowledge Graph Completion [59.54067771781552]
本稿では,FedMKGCのマルチモーダル不確実性とマルチモーダルクライアントの不均一性問題に対処するMMFeD3-HidEというフレームワークを提案する。
本稿では,MMFedEという一般的なFedMKGCバックボーン,異種マルチモーダル情報を持つデータセット,構築されたベースラインの3つのグループからなる総合評価のためのFedMKGCベンチマークを提案する。
論文 参考訳（メタデータ） (2025-06-27T09:32:58Z) - MARIOH: Multiplicity-Aware Hypergraph Reconstruction [26.07529457537888]
エッジ乗法を利用して,投影されたグラフからオリジナルのハイパーグラフを再構成するための教師付きアプローチであるMARIOHを提案する。
10個の実世界のデータセットを用いた実験で,MARIOHは最先端の手法と比較して最大74.51%高い再現精度を達成した。
論文 参考訳（メタデータ） (2025-04-01T08:14:59Z) - GFM-RAG: Graph Foundation Model for Retrieval Augmented Generation [84.41557981816077]
本稿では,新しいグラフ基盤モデル (GFM) である GFM-RAG について紹介する。
GFM-RAGは、複雑なクエリ-知識関係をキャプチャするグラフ構造を理由とする、革新的なグラフニューラルネットワークによって実現されている。
効率とニューラルスケーリング法則との整合性を維持しつつ、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-02-03T07:04:29Z) - Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。
既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。
適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-27T06:36:17Z) - Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。
GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
論文 参考訳（メタデータ） (2024-04-23T04:47:22Z) - Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation [51.80447197290866]
マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としている。
既存のMMKGCメソッドは通常、事前訓練されたモデルでマルチモーダルな特徴を抽出する。
エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張する新しいフレームワークであるMyGOを紹介します。
論文 参考訳（メタデータ） (2024-04-15T05:40:41Z) - Knowledge Graphs Meet Multi-Modal Learning: A Comprehensive Survey [61.8716670402084]
本調査は,KG-driven Multi-Modal Learning(KG4MM)とMulti-Modal Knowledge Graph(MM4KG)の2つの主要な側面におけるKG認識研究に焦点を当てる。
KG対応マルチモーダル学習タスクと本質的MMKGタスクの2つの主要なタスクカテゴリについて検討した。
これらのタスクの多くに対して、定義、評価ベンチマークを提供し、関連する研究を行うための重要な洞察を概説する。
論文 参考訳（メタデータ） (2024-02-08T04:04:36Z) - MACO: A Modality Adversarial and Contrastive Framework for
Modality-missing Multi-modal Knowledge Graph Completion [18.188971531961663]
本稿では,MMKGCにおけるモダリティ欠落問題を解決するために,モダリティ対向・コントラッシブ・フレームワーク(MACO)を提案する。
MACOは、MMKGCモデルに組み込むことができる欠落したモダリティ特徴を生成するために、ジェネレータと識別器を逆さまに訓練する。
論文 参考訳（メタデータ） (2023-08-13T06:29:38Z) - Knowledge Graph Completion with Pre-trained Multimodal Transformer and
Twins Negative Sampling [13.016173217017597]
本稿では,VBKGC(VisualBERT-enhanced Knowledge Graph Completion Model)を提案する。
VBKGCは、エンティティの深く融合したマルチモーダル情報をキャプチャし、それらをKGCモデルに統合することができる。
リンク予測タスクにおいて,VBKGCの優れた性能を示すため,広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-09-15T06:50:31Z) - Multi-Modal Knowledge Graph Construction and Application: A Survey [17.203534055251435]
知識グラフのマルチモーダル化は、人間レベルのマシンインテリジェンスの実現に向けた必然的な重要なステップである。
まず、テキストや画像によって構築されたMMKGの定義と、マルチモーダルなタスクやテクニックに関する予備的な定義を示す。
次に,MMKGの構築と適用における課題,進歩,機会を,それぞれ体系的に検討し,それぞれの解の強度と弱さを詳細に分析した。
論文 参考訳（メタデータ） (2022-02-11T17:31:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。