論文の概要: Unleashing the Power of Imbalanced Modality Information for Multi-modal
Knowledge Graph Completion
- arxiv url: http://arxiv.org/abs/2402.15444v1
- Date: Thu, 22 Feb 2024 05:48:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 13:51:36.491502
- Title: Unleashing the Power of Imbalanced Modality Information for Multi-modal
Knowledge Graph Completion
- Title(参考訳): マルチモーダル知識グラフ完成のための不均衡モダリティ情報のパワーの解き放つ
- Authors: Yichi Zhang, Zhuo Chen, Lei Liang, Huajun Chen, Wen Zhang
- Abstract要約: マルチモーダル知識グラフ補完(MMKGC)は、マルチモーダル知識グラフの欠落三重項を予測することを目的としている。
適応型マルチモーダルフュージョン・モダリティ・アディショナル・トレーニング(AdaMF-MAT)を提案し,不均衡なモダリティ情報のパワーを解き放つ。
提案手法はMMKGCモデルとトレーニング戦略の共同設計であり,近年のMMKGC手法を上回りうる。
- 参考スコア(独自算出の注目度): 40.86196588992357
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-modal knowledge graph completion (MMKGC) aims to predict the missing
triples in the multi-modal knowledge graphs by incorporating structural,
visual, and textual information of entities into the discriminant models. The
information from different modalities will work together to measure the triple
plausibility. Existing MMKGC methods overlook the imbalance problem of modality
information among entities, resulting in inadequate modal fusion and
inefficient utilization of the raw modality information. To address the
mentioned problems, we propose Adaptive Multi-modal Fusion and Modality
Adversarial Training (AdaMF-MAT) to unleash the power of imbalanced modality
information for MMKGC. AdaMF-MAT achieves multi-modal fusion with adaptive
modality weights and further generates adversarial samples by
modality-adversarial training to enhance the imbalanced modality information.
Our approach is a co-design of the MMKGC model and training strategy which can
outperform 19 recent MMKGC methods and achieve new state-of-the-art results on
three public MMKGC benchmarks. Our code and data have been released at
https://github.com/zjukg/AdaMF-MAT.
- Abstract(参考訳): マルチモーダル知識グラフ補完(MMKGC)は、識別モデルにエンティティの構造的、視覚的、テキスト的情報を組み込むことにより、マルチモーダル知識グラフの欠落三重項を予測することを目的としている。
異なるモダリティからの情報は、三重の可算性を測定するために協力する。
既存のMMKGC法は、実体間のモダリティ情報の不均衡問題を見落とし、不適切なモダリティ融合と原モダリティ情報の非効率利用をもたらす。
上記の問題に対処するため,MMKGCにおける不均衡なモダリティ情報のパワーを解き放つために,適応型マルチモーダルフュージョン・モダリティ訓練(AdaMF-MAT)を提案する。
AdaMF-MATは適応モダリティ重み付き多モード融合を実現し、不均衡なモダリティ情報を強化するために、モダリティ-逆トレーニングにより逆サンプルを生成する。
提案手法はMMKGCモデルとトレーニング戦略の共設計であり,最新のMMKGC手法を上回り,3つの公開MMKGCベンチマークで新たな最先端結果が得られる。
コードとデータはhttps://github.com/zjukg/AdaMF-MAT.comで公開されている。
関連論文リスト
- Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。
任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。
AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文 参考訳(メタデータ) (2024-05-06T11:02:02Z) - MyGO: Discrete Modality Information as Fine-Grained Tokens for Multi-modal Knowledge Graph Completion [51.80447197290866]
MMKGの微細なモダリティ情報を処理・融合・拡張するためにMyGOを導入する。
MyGOは、マルチモーダルな生データをきめ細かい離散トークンとしてトークン化し、クロスモーダルなエンティティエンコーダでエンティティ表現を学習する。
標準MMKGCベンチマーク実験により,本手法が最新の20モデルを上回ることがわかった。
論文 参考訳(メタデータ) (2024-04-15T05:40:41Z) - Neuro-Inspired Information-Theoretic Hierarchical Perception for Multimodal Learning [16.8379583872582]
我々は,情報ボトルネックの概念を利用する情報理論階層知覚(ITHP)モデルを開発した。
我々は、ITHPがマルチモーダル学習シナリオにおいて重要な情報を一貫して蒸留し、最先端のベンチマークより優れていることを示す。
論文 参考訳(メタデータ) (2024-04-15T01:34:44Z) - Context-Based Multimodal Fusion [0.08192907805418585]
我々は、コンテキストベースマルチモーダルフュージョン(CBMF)と呼ばれる革新的なモデルを提案する。
CBMFは、モダリティ融合とデータ分散アライメントを組み合わせたものである。
CBMFは、凍結可能な大規模な事前訓練モデルの使用を可能にする。
論文 参考訳(メタデータ) (2024-03-07T16:50:25Z) - Improving Discriminative Multi-Modal Learning with Large-Scale
Pre-Trained Models [51.5543321122664]
本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。
MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
論文 参考訳(メタデータ) (2023-10-08T15:01:54Z) - MACO: A Modality Adversarial and Contrastive Framework for
Modality-missing Multi-modal Knowledge Graph Completion [18.188971531961663]
本稿では,MMKGCにおけるモダリティ欠落問題を解決するために,モダリティ対向・コントラッシブ・フレームワーク(MACO)を提案する。
MACOは、MMKGCモデルに組み込むことができる欠落したモダリティ特徴を生成するために、ジェネレータと識別器を逆さまに訓練する。
論文 参考訳(メタデータ) (2023-08-13T06:29:38Z) - Deep Equilibrium Multimodal Fusion [88.04713412107947]
多重モーダル融合は、複数のモーダルに存在する相補的な情報を統合し、近年多くの注目を集めている。
本稿では,動的多モード核融合プロセスの固定点を求めることにより,多モード核融合に対する新しいDeep equilibrium (DEQ)法を提案する。
BRCA,MM-IMDB,CMU-MOSI,SUN RGB-D,VQA-v2の実験により,DEC融合の優位性が示された。
論文 参考訳(メタデータ) (2023-06-29T03:02:20Z) - VERITE: A Robust Benchmark for Multimodal Misinformation Detection
Accounting for Unimodal Bias [17.107961913114778]
マルチモーダルの誤報は ソーシャルメディアのプラットフォームで 増え続けている問題です
本研究では,広範に使用されているMDDベンチマークにおいて,一様偏差の存在を調査・同定する。
リアルな合成学習データを生成するための新しい手法であるCrossmodal HArd Synthetic MisAlignment (CHASMA)を導入する。
論文 参考訳(メタデータ) (2023-04-27T12:28:29Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳(メタデータ) (2021-07-28T23:33:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。