論文の概要: Unleashing the Power of Imbalanced Modality Information for Multi-modal Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2402.15444v1
• Date: Thu, 22 Feb 2024 05:48:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 13:51:36.491502
• Title: Unleashing the Power of Imbalanced Modality Information for Multi-modal Knowledge Graph Completion
• Title（参考訳）: マルチモーダル知識グラフ完成のための不均衡モダリティ情報のパワーの解き放つ
• Authors: Yichi Zhang, Zhuo Chen, Lei Liang, Huajun Chen, Wen Zhang
• Abstract要約: マルチモーダル知識グラフ補完(MMKGC)は、マルチモーダル知識グラフの欠落三重項を予測することを目的としている。 適応型マルチモーダルフュージョン・モダリティ・アディショナル・トレーニング(AdaMF-MAT)を提案し,不均衡なモダリティ情報のパワーを解き放つ。 提案手法はMMKGCモデルとトレーニング戦略の共同設計であり,近年のMMKGC手法を上回りうる。
• 参考スコア（独自算出の注目度）: 40.86196588992357
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multi-modal knowledge graph completion (MMKGC) aims to predict the missing triples in the multi-modal knowledge graphs by incorporating structural, visual, and textual information of entities into the discriminant models. The information from different modalities will work together to measure the triple plausibility. Existing MMKGC methods overlook the imbalance problem of modality information among entities, resulting in inadequate modal fusion and inefficient utilization of the raw modality information. To address the mentioned problems, we propose Adaptive Multi-modal Fusion and Modality Adversarial Training (AdaMF-MAT) to unleash the power of imbalanced modality information for MMKGC. AdaMF-MAT achieves multi-modal fusion with adaptive modality weights and further generates adversarial samples by modality-adversarial training to enhance the imbalanced modality information. Our approach is a co-design of the MMKGC model and training strategy which can outperform 19 recent MMKGC methods and achieve new state-of-the-art results on three public MMKGC benchmarks. Our code and data have been released at https://github.com/zjukg/AdaMF-MAT.
• Abstract（参考訳）: マルチモーダル知識グラフ補完(MMKGC)は、識別モデルにエンティティの構造的、視覚的、テキスト的情報を組み込むことにより、マルチモーダル知識グラフの欠落三重項を予測することを目的としている。 異なるモダリティからの情報は、三重の可算性を測定するために協力する。 既存のMMKGC法は、実体間のモダリティ情報の不均衡問題を見落とし、不適切なモダリティ融合と原モダリティ情報の非効率利用をもたらす。 上記の問題に対処するため,MMKGCにおける不均衡なモダリティ情報のパワーを解き放つために,適応型マルチモーダルフュージョン・モダリティ訓練(AdaMF-MAT)を提案する。 AdaMF-MATは適応モダリティ重み付き多モード融合を実現し、不均衡なモダリティ情報を強化するために、モダリティ-逆トレーニングにより逆サンプルを生成する。 提案手法はMMKGCモデルとトレーニング戦略の共設計であり,最新のMMKGC手法を上回り,3つの公開MMKGCベンチマークで新たな最先端結果が得られる。 コードとデータはhttps://github.com/zjukg/AdaMF-MAT.comで公開されている。

関連論文リスト

• Modality-Balanced Learning for Multimedia Recommendation [21.772064939915214]
  本稿では,不均衡問題を解消し,全てのモダリティを最大限に活用するための対実的知識蒸留法を提案する。 また,教師からより広義の知識を習得するために,多モーダルな学生を指導するために,新たな総合的・特異な蒸留損失を設計する。 我々の手法は、遅延核融合と早期核融合の両方のバックボーンのためのプラグイン・アンド・プレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2024-07-26T07:53:01Z)
• Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
  高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。 既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。 適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T06:36:17Z)
• MyGO: Discrete Modality Information as Fine-Grained Tokens for Multi-modal Knowledge Graph Completion [51.80447197290866]
  MMKGの微細なモダリティ情報を処理・融合・拡張するためにMyGOを導入する。 MyGOは、マルチモーダルな生データをきめ細かい離散トークンとしてトークン化し、クロスモーダルなエンティティエンコーダでエンティティ表現を学習する。 標準MMKGCベンチマーク実験により,本手法が最新の20モデルを上回ることがわかった。
  論文  参考訳（メタデータ） (2024-04-15T05:40:41Z)
• NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
  本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。 提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-28T03:04:00Z)
• Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
  本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
  論文  参考訳（メタデータ） (2023-10-08T15:01:54Z)
• MACO: A Modality Adversarial and Contrastive Framework for Modality-missing Multi-modal Knowledge Graph Completion [18.188971531961663]
  本稿では,MMKGCにおけるモダリティ欠落問題を解決するために,モダリティ対向・コントラッシブ・フレームワーク(MACO)を提案する。 MACOは、MMKGCモデルに組み込むことができる欠落したモダリティ特徴を生成するために、ジェネレータと識別器を逆さまに訓練する。
  論文  参考訳（メタデータ） (2023-08-13T06:29:38Z)
• VERITE: A Robust Benchmark for Multimodal Misinformation Detection Accounting for Unimodal Bias [17.107961913114778]
  マルチモーダルの誤報は ソーシャルメディアのプラットフォームで 増え続けている問題です 本研究では,広範に使用されているMDDベンチマークにおいて,一様偏差の存在を調査・同定する。 リアルな合成学習データを生成するための新しい手法であるCrossmodal HArd Synthetic MisAlignment (CHASMA)を導入する。
  論文  参考訳（メタデータ） (2023-04-27T12:28:29Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。