論文の概要: Collaboration of Fusion and Independence: Hypercomplex-driven Robust Multi-Modal Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2509.23714v1
• Date: Sun, 28 Sep 2025 07:55:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.392687
• Title: Collaboration of Fusion and Independence: Hypercomplex-driven Robust Multi-Modal Knowledge Graph Completion
• Title（参考訳）: 融合と独立のコラボレーション:超複素駆動ロバスト多モード知識グラフ補完
• Authors: Zhiqiang Liu, Yichi Zhang, Mengshu Sun, Lei Liang, Wen Zhang,
• Abstract要約: マルチモーダル知識グラフ補完(MMKGC)は、マルチモーダル知識グラフ(MMKG)における行方不明事実の発見を目的とする。 既存のMMKGCメソッドは、融合ベースとアンサンブルベースの2つのマルチモーダルパラダイムに従っている。 本稿では, 融合および独立なモダリティ表現の共存と協調を実現するMMKGC手法 M-Hyper を提案する。
• 参考スコア（独自算出の注目度）: 16.99012641907491
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal knowledge graph completion (MMKGC) aims to discover missing facts in multi-modal knowledge graphs (MMKGs) by leveraging both structural relationships and diverse modality information of entities. Existing MMKGC methods follow two multi-modal paradigms: fusion-based and ensemble-based. Fusion-based methods employ fixed fusion strategies, which inevitably leads to the loss of modality-specific information and a lack of flexibility to adapt to varying modality relevance across contexts. In contrast, ensemble-based methods retain modality independence through dedicated sub-models but struggle to capture the nuanced, context-dependent semantic interplay between modalities. To overcome these dual limitations, we propose a novel MMKGC method M-Hyper, which achieves the coexistence and collaboration of fused and independent modality representations. Our method integrates the strengths of both paradigms, enabling effective cross-modal interactions while maintaining modality-specific information. Inspired by ``quaternion'' algebra, we utilize its four orthogonal bases to represent multiple independent modalities and employ the Hamilton product to efficiently model pair-wise interactions among them. Specifically, we introduce a Fine-grained Entity Representation Factorization (FERF) module and a Robust Relation-aware Modality Fusion (R2MF) module to obtain robust representations for three independent modalities and one fused modality. The resulting four modality representations are then mapped to the four orthogonal bases of a biquaternion (a hypercomplex extension of quaternion) for comprehensive modality interaction. Extensive experiments indicate its state-of-the-art performance, robustness, and computational efficiency.
• Abstract（参考訳）: マルチモーダル知識グラフ補完(MMKGC)は、多モーダル知識グラフ(MMKG)において、実体の構造的関係と多様なモダリティ情報の両方を活用することによって、欠落した事実を発見することを目的としている。 既存のMMKGCメソッドは、融合ベースとアンサンブルベースの2つのマルチモーダルパラダイムに従っている。 フュージョンベースの手法は固定融合戦略を採用しており、必然的にモダリティ固有の情報の喪失と、状況によって異なるモダリティ関連に適応する柔軟性の欠如につながっている。 対照的に、アンサンブルに基づく手法は、専用のサブモデルを通してモダリティの独立性を維持するが、モダリティ間の微妙で文脈に依存したセマンティックな相互作用を捉えるのに苦労する。 これら2つの制限を克服するために,融合および独立なモダリティ表現の共存と協調を実現する新しいMMKGC手法M-Hyperを提案する。 本手法は両パラダイムの強みを統合し,モダリティ固有の情報を維持しつつ,効果的な相互モーダル相互作用を実現する。 四元数」代数に着想を得て、4つの直交基底を複数の独立なモジュラリティを表すために利用し、ハミルトン積を使ってそれらの間のペアワイズ相互作用を効率的にモデル化する。 具体的には,3つの独立モダリティと1つの融合モダリティの堅牢な表現を得るために,詳細なEntity Representation Factorization (FERF) モジュールとRobust Relation-aware Modality Fusion (R2MF) モジュールを導入する。 結果として得られる4つのモダリティ表現は、包括的モダリティ相互作用のために二元数(四元数の超複素拡大)の4つの直交基底に写像される。 大規模な実験は、最先端の性能、堅牢性、計算効率を示している。

関連論文リスト

• Complementarity-driven Representation Learning for Multi-modal Knowledge Graph Completion [0.0]
  我々はMixture of Complementary Modality Experts (MoCME)という新しいフレームワークを提案する。 MoCMEはComplementarity-guided Modality Knowledge Fusion (CMKF)モジュールとEntropy-guided Negative Sampling (EGNS)メカニズムで構成されている。 私たちのMoCMEは最先端のパフォーマンスを達成し、既存のアプローチを超越しています。
  論文  参考訳（メタデータ） (2025-07-28T08:35:11Z)
• Asynchronous Multimodal Video Sequence Fusion via Learning Modality-Exclusive and -Agnostic Representations [19.731611716111566]
  本稿では,モダリティ学習のためのマルチモーダル融合手法を提案する。 我々は、モーダル内の信頼性のあるコンテキストダイナミクスをキャプチャする予測的自己アテンションモジュールを導入する。 階層的クロスモーダルアテンションモジュールは、モダリティ間の価値ある要素相関を探索するために設計されている。 両識別器戦略が提示され、異なる表現を敵対的に生成することを保証する。
  論文  参考訳（メタデータ） (2024-07-06T04:36:48Z)
• Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
  高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。 既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。 適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T06:36:17Z)
• Leveraging Intra-modal and Inter-modal Interaction for Multi-Modal Entity Alignment [27.28214706269035]
  マルチモーダル・エンティティ・アライメント(MMEA)は、異なるマルチモーダル・ナレッジ・グラフ(MMKG)間で等価なエンティティ・ペアを識別することを目的としている。 本稿では,マルチモーダルエンティティアライメントのための多言語インタラクションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-19T08:43:11Z)
• NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
  本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。 提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-28T03:04:00Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• IMF: Interactive Multimodal Fusion Model for Link Prediction [13.766345726697404]
  異なるモダリティからの知識を統合するために,インタラクティブ・マルチモーダル・フュージョン(IMF)モデルを導入する。 提案手法は,実世界の複数のデータセットに対する経験的評価によって有効であることが実証された。
  論文  参考訳（メタデータ） (2023-03-20T01:20:02Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。