論文の概要: Complementarity-driven Representation Learning for Multi-modal Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2507.20620v1
• Date: Mon, 28 Jul 2025 08:35:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:57.983283
• Title: Complementarity-driven Representation Learning for Multi-modal Knowledge Graph Completion
• Title（参考訳）: 多モード知識グラフ補完のための相補性駆動型表現学習
• Authors: Lijian Li,
• Abstract要約: 我々はMixture of Complementary Modality Experts (MoCME)という新しいフレームワークを提案する。 MoCMEはComplementarity-guided Modality Knowledge Fusion (CMKF)モジュールとEntropy-guided Negative Sampling (EGNS)メカニズムで構成されている。 私たちのMoCMEは最先端のパフォーマンスを達成し、既存のアプローチを超越しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Multi-modal Knowledge Graph Completion (MMKGC) aims to uncover hidden world knowledge in multimodal knowledge graphs by leveraging both multimodal and structural entity information. However, the inherent imbalance in multimodal knowledge graphs, where modality distributions vary across entities, poses challenges in utilizing additional modality data for robust entity representation. Existing MMKGC methods typically rely on attention or gate-based fusion mechanisms but overlook complementarity contained in multi-modal data. In this paper, we propose a novel framework named Mixture of Complementary Modality Experts (MoCME), which consists of a Complementarity-guided Modality Knowledge Fusion (CMKF) module and an Entropy-guided Negative Sampling (EGNS) mechanism. The CMKF module exploits both intra-modal and inter-modal complementarity to fuse multi-view and multi-modal embeddings, enhancing representations of entities. Additionally, we introduce an Entropy-guided Negative Sampling mechanism to dynamically prioritize informative and uncertain negative samples to enhance training effectiveness and model robustness. Extensive experiments on five benchmark datasets demonstrate that our MoCME achieves state-of-the-art performance, surpassing existing approaches.
• Abstract（参考訳）: マルチモーダル知識グラフ補完(MMKGC)は、マルチモーダル・エンティティ情報と構造的エンティティ情報の両方を活用することで、マルチモーダル知識グラフに隠された世界知識を明らかにすることを目的としている。 しかし、マルチモーダル知識グラフ(英語版)における固有不均衡(英語版)(Modality distributions are across entity)は、堅牢な実体表現のために追加のモダリティデータを利用する際の課題を提起する。 既存のMMKGC法は通常、注意またはゲートベースの融合機構に依存するが、マルチモーダルデータに含まれる相補性を見落としている。 本稿では,Mixture of Complementary Modality Experts (MoCME) という,CMKFモジュールとEntropy-Guided Negative Smpling (EGNS) 機構を組み合わせた新しいフレームワークを提案する。 CMKFモジュールは、モーダル内およびモーダル間の相補性を利用して、マルチビューとマルチモーダルの埋め込みを融合し、エンティティの表現を強化する。 さらに,エントロピー誘導負サンプリング機構を導入し,情報的,不確実な負のサンプルを動的に優先順位付けし,トレーニングの有効性を高め,ロバスト性をモデル化する。 5つのベンチマークデータセットに対する大規模な実験は、我々のMoCMEが最先端のパフォーマンスを達成し、既存のアプローチを超越していることを示している。

関連論文リスト

• DiffusionCom: Structure-Aware Multimodal Diffusion Model for Multimodal Knowledge Graph Completion [15.898786167134997]
  マルチモーダル知識グラフ補完(DiffusionCom)のための構造認識型マルチモーダル拡散モデルを提案する。 DiffusionComはジェネレータの生成的損失と識別的損失の両方を用いて訓練され、特徴抽出器は識別的損失にのみ最適化される。 FB15k-237-IMGデータセットとWN18-IMGデータセットの実験は、DiffusionComが最先端モデルより優れていることを示した。
  論文  参考訳（メタデータ） (2025-04-09T02:50:37Z)
• Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
  高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。 既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。 適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T06:36:17Z)
• Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation [51.80447197290866]
  マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としている。 既存のMMKGCメソッドは通常、事前訓練されたモデルでマルチモーダルな特徴を抽出する。 エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張する新しいフレームワークであるMyGOを紹介します。
  論文  参考訳（メタデータ） (2024-04-15T05:40:41Z)
• Neuro-Inspired Information-Theoretic Hierarchical Perception for Multimodal Learning [16.8379583872582]
  我々は,情報ボトルネックの概念を利用する情報理論階層知覚(ITHP)モデルを開発した。 我々は、ITHPがマルチモーダル学習シナリオにおいて重要な情報を一貫して蒸留し、最先端のベンチマークより優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-15T01:34:44Z)
• NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
  本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。 提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-28T03:04:00Z)
• Noise-powered Multi-modal Knowledge Graph Representation Framework [52.95468915728721]
  マルチモーダル・プレトレーニングの台頭は、統合されたマルチモーダル知識グラフ表現学習フレームワークの必要性を強調している。 モードレベルのノイズマスキングを備えたトランスフォーマーアーキテクチャを用いた新しいSNAG手法を提案する。 提案手法は10個のデータセットにまたがってSOTA性能を実現し,その汎用性を実証する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:43Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• IMF: Interactive Multimodal Fusion Model for Link Prediction [13.766345726697404]
  異なるモダリティからの知識を統合するために,インタラクティブ・マルチモーダル・フュージョン(IMF)モデルを導入する。 提案手法は,実世界の複数のデータセットに対する経験的評価によって有効であることが実証された。
  論文  参考訳（メタデータ） (2023-03-20T01:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。