論文の概要: Mixture of Modality Knowledge Experts for Robust Multi-modal Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2405.16869v1
• Date: Mon, 27 May 2024 06:36:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 16:50:47.269080
• Title: Mixture of Modality Knowledge Experts for Robust Multi-modal Knowledge Graph Completion
• Title（参考訳）: ロバストなマルチモーダル知識グラフ補完のためのモダリティ知識エキスパートの混合
• Authors: Yichi Zhang, Zhuo Chen, Lingbing Guo, Yajing Xu, Binbin Hu, Ziqi Liu, Wen Zhang, Huajun Chen,
• Abstract要約: マルチモーダル知識グラフ補完(MMKGC)は、与えられたマルチモーダル知識グラフ(MMKG)において、新しい知識トリプルを自動的に発見することを目的としている。 既存の手法は、エレガントなエンティティワイドなマルチモーダル融合戦略の構築に重点を置いている傾向にあるが、様々な関係文脈下でモダリティ内に隠されたマルチパースペクティブな特徴の利用を見落としている。 本稿では,Mixture of Modality Knowledge Expert (MoMoK) を用いたMMKGCフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 51.80447197290866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal knowledge graph completion (MMKGC) aims to automatically discover new knowledge triples in the given multi-modal knowledge graphs (MMKGs), which is achieved by collaborative modeling the structural information concealed in massive triples and the multi-modal features of the entities. Existing methods tend to focus on crafting elegant entity-wise multi-modal fusion strategies, yet they overlook the utilization of multi-perspective features concealed within the modalities under diverse relational contexts. To address this issue, we introduce a novel MMKGC framework with Mixture of Modality Knowledge experts (MoMoK for short) to learn adaptive multi-modal embedding under intricate relational contexts. We design relation-guided modality knowledge experts to acquire relation-aware modality embeddings and integrate the predictions from multi-modalities to achieve comprehensive decisions. Additionally, we disentangle the experts by minimizing their mutual information. Experiments on four public MMKG benchmarks demonstrate the outstanding performance of MoMoK under complex scenarios.
• Abstract（参考訳）: マルチモーダル知識グラフ補完(MMKGC)は、与えられたマルチモーダル知識グラフ(MMKG)において、大規模トリプルに隠された構造情報とエンティティのマルチモーダル特徴を協調的にモデル化することにより、新たな知識トリプルを自動的に発見することを目的としている。 既存の手法は、エレガントなエンティティ・ワイド・マルチモーダル・フュージョン戦略の構築に重点を置いている傾向にあるが、様々な関係文脈下でモダリティ内に隠されたマルチパースペクティブ・フィーチャの利用を見落としている。 この問題に対処するために,Mixture of Modality Knowledge Expert (略してMoMoK) を用いたMMKGCフレームワークを導入し,複雑な関係文脈下で適応型マルチモーダル埋め込みを学習する。 関係誘導型モダリティ知識エキスパートを設計し、関係認識型モダリティ埋め込みを取得し、複数のモダリティからの予測を統合して総合的な意思決定を行う。 さらに、専門家同士の情報を最小化することで、専門家を混乱させます。 4つの公開MMKGベンチマークの実験は、複雑なシナリオ下でのMoMoKの優れた性能を示す。

関連論文リスト

• MIND: Modality-Informed Knowledge Distillation Framework for Multimodal Clinical Prediction Tasks [50.98856172702256]
  マルチモーダルモデル圧縮手法である MIND (Modality-Informed Knowledge Distillation) フレームワークを提案する。 MINDは、様々なサイズの事前訓練されたディープニューラルネットワークのアンサンブルから、より小さなマルチモーダルの学生に知識を伝達する。 時系列データと胸部X線画像を用いた2値および複数ラベルの臨床予測タスクにおけるMINDの評価を行った。
  論文  参考訳（メタデータ） (2025-02-03T08:50:00Z)
• Multimodal Reasoning with Multimodal Knowledge Graph [19.899398342533722]
  大規模言語モデル(LLM)を用いたマルチモーダル推論は、幻覚や、不十分な知識や時代遅れな知識の存在に悩まされることが多い。 マルチモーダル知識グラフを用いたマルチモーダル推論(MR-MKG)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:13:23Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation [51.80447197290866]
  マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としている。 既存のMMKGCメソッドは通常、事前訓練されたモデルでマルチモーダルな特徴を抽出する。 エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張する新しいフレームワークであるMyGOを紹介します。
  論文  参考訳（メタデータ） (2024-04-15T05:40:41Z)
• Zero-Shot Relational Learning for Multimodal Knowledge Graphs [31.215889061734295]
  多様なマルチモーダル情報と知識グラフ構造を統合するために, マルチモーダル学習者, 構造コンソリエータ埋め込みジェネレータという3つのコンポーネントからなる新しいエンドツーエンドフレームワークを提案する。 3つのマルチモーダル知識グラフの評価結果は,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-09T11:14:45Z)
• Noise-powered Multi-modal Knowledge Graph Representation Framework [52.95468915728721]
  マルチモーダル・プレトレーニングの台頭は、統合されたマルチモーダル知識グラフ表現学習フレームワークの必要性を強調している。 モードレベルのノイズマスキングを備えたトランスフォーマーアーキテクチャを用いた新しいSNAG手法を提案する。 提案手法は10個のデータセットにまたがってSOTA性能を実現し,その汎用性を実証する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:43Z)
• Multi-modal Contrastive Representation Learning for Entity Alignment [57.92705405276161]
  マルチモーダルなエンティティアライメントは、2つの異なるマルチモーダルな知識グラフ間で等価なエンティティを識別することを目的としている。 マルチモーダルコントラスト学習に基づくエンティティアライメントモデルであるMCLEAを提案する。 特に、MCLEAはまず複数のモダリティから複数の個別表現を学習し、その後、モダリティ内およびモダリティ間相互作用を共同でモデル化するコントラスト学習を行う。
  論文  参考訳（メタデータ） (2022-09-02T08:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。