論文の概要: MACO: A Modality Adversarial and Contrastive Framework for Modality-missing Multi-modal Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2308.06696v1
• Date: Sun, 13 Aug 2023 06:29:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 15:54:01.789052
• Title: MACO: A Modality Adversarial and Contrastive Framework for Modality-missing Multi-modal Knowledge Graph Completion
• Title（参考訳）: maco:モダリティを許容するマルチモダリティナレッジグラフ完成のためのモダリティの敵対的でコントラスト的な枠組み
• Authors: Yichi Zhang, Zhuo Chen, Wen Zhang
• Abstract要約: 本稿では,MMKGCにおけるモダリティ欠落問題を解決するために,モダリティ対向・コントラッシブ・フレームワーク(MACO)を提案する。 MACOは、MMKGCモデルに組み込むことができる欠落したモダリティ特徴を生成するために、ジェネレータと識別器を逆さまに訓練する。
• 参考スコア（独自算出の注目度）: 18.188971531961663
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent years have seen significant advancements in multi-modal knowledge graph completion (MMKGC). MMKGC enhances knowledge graph completion (KGC) by integrating multi-modal entity information, thereby facilitating the discovery of unobserved triples in the large-scale knowledge graphs (KGs). Nevertheless, existing methods emphasize the design of elegant KGC models to facilitate modality interaction, neglecting the real-life problem of missing modalities in KGs. The missing modality information impedes modal interaction, consequently undermining the model's performance. In this paper, we propose a modality adversarial and contrastive framework (MACO) to solve the modality-missing problem in MMKGC. MACO trains a generator and discriminator adversarially to generate missing modality features that can be incorporated into the MMKGC model. Meanwhile, we design a cross-modal contrastive loss to improve the performance of the generator. Experiments on public benchmarks with further explorations demonstrate that MACO could achieve state-of-the-art results and serve as a versatile framework to bolster various MMKGC models. Our code and benchmark data are available at https://github.com/zjukg/MACO.
• Abstract（参考訳）: 近年,Multi-modal knowledge graph completion (MMKGC) が著しく進歩している。 MMKGCは、マルチモーダルなエンティティ情報を統合することで知識グラフ補完(KGC)を強化し、大規模知識グラフ(KG)における観測されていない三重項の発見を容易にする。 それにもかかわらず、既存の手法はモダリティ相互作用を促進するためのエレガントなKGCモデルの設計を強調しており、KGのモダリティの現実的な問題を無視している。 モダリティの欠如はモダリティの相互作用を妨げるため、モデルの性能を損なう。 本稿では,MMKGCにおけるモダリティ欠落問題を解決するための,モダリティ対逆およびコントラッシブフレームワーク(MACO)を提案する。 MACOは、MMKGCモデルに組み込むことができる欠落したモダリティ特徴を生成するために、ジェネレータと識別器を逆さまに訓練する。 一方,発電機の性能向上のために,クロスモーダルなコントラスト損失を設計する。 さらなる調査による公開ベンチマークの実験では、MACOが最先端の結果を達成でき、様々なMMKGCモデルを活性化するための汎用的なフレームワークとして機能することが示されている。 コードとベンチマークデータはhttps://github.com/zjukg/MACO.comで公開されています。

関連論文リスト

• Transformer-Based Multimodal Knowledge Graph Completion with Link-Aware Contexts [3.531533402602335]
  マルチモーダル知識グラフ補完(MMKGC)は、マルチモーダル知識グラフ(MMKG)における欠落リンクの予測を目的とする。 既存のMMKGCアプローチは主に知識グラフ埋め込み(KGE)モデルを拡張している。 本稿では,トランスフォーマーをベースとしたKGEモデルと,事前学習したVLMが生成するクロスモーダルコンテキストを統合した新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-26T22:23:14Z)
• Tokenization, Fusion, and Augmentation: Towards Fine-grained Multi-modal Entity Representation [51.80447197290866]
  マルチモーダル知識グラフ補完(MMKGC)は、与えられた知識グラフから観測されていない知識を発見することを目的としている。 既存のMMKGCメソッドは通常、事前訓練されたモデルでマルチモーダルな特徴を抽出する。 エンティティの微細なマルチモーダル表現をトークン化し、融合し、拡張する新しいフレームワークであるMyGOを紹介します。
  論文  参考訳（メタデータ） (2024-04-15T05:40:41Z)
• NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
  本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。 提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-28T03:04:00Z)
• Noise-powered Multi-modal Knowledge Graph Representation Framework [52.95468915728721]
  マルチモーダル・プレトレーニングの台頭は、統合されたマルチモーダル知識グラフ表現学習フレームワークの必要性を強調している。 モードレベルのノイズマスキングを備えたトランスフォーマーアーキテクチャを用いた新しいSNAG手法を提案する。 提案手法は10個のデータセットにまたがってSOTA性能を実現し,その汎用性を実証する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:43Z)
• Unleashing the Power of Imbalanced Modality Information for Multi-modal Knowledge Graph Completion [40.86196588992357]
  マルチモーダル知識グラフ補完(MMKGC)は、マルチモーダル知識グラフの欠落三重項を予測することを目的としている。 適応型マルチモーダルフュージョン・モダリティ・アディショナル・トレーニング(AdaMF-MAT)を提案し,不均衡なモダリティ情報のパワーを解き放つ。 提案手法はMMKGCモデルとトレーニング戦略の共同設計であり,近年のMMKGC手法を上回りうる。
  論文  参考訳（メタデータ） (2024-02-22T05:48:03Z)
• Continual Multimodal Knowledge Graph Construction [62.77243705682985]
  現在のマルチモーダル知識グラフ構築(MKGC)モデルは、絶え間なく出現する実体と関係の現実的なダイナミズムに苦慮している。 本研究では,連続的なMKGCドメインの開発を促進するためのベンチマークを紹介する。 マルチメディアデータ処理における既存のMKGCアプローチの欠点を克服するMSPTフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-05-15T14:58:28Z)
• VERITE: A Robust Benchmark for Multimodal Misinformation Detection Accounting for Unimodal Bias [17.107961913114778]
  マルチモーダルの誤報は ソーシャルメディアのプラットフォームで 増え続けている問題です 本研究では,広範に使用されているMDDベンチマークにおいて,一様偏差の存在を調査・同定する。 リアルな合成学習データを生成するための新しい手法であるCrossmodal HArd Synthetic MisAlignment (CHASMA)を導入する。
  論文  参考訳（メタデータ） (2023-04-27T12:28:29Z)
• DisenKGAT: Knowledge Graph Embedding with Disentangled Graph Attention Network [48.38954651216983]
  本稿では,知識グラフのための新しいDistangled Knowledge Graph Attention Network (DisenKGAT)を提案する。 DisenKGATは、マイクロディケンジメントとマクロディケンジメントの両方を使用して、知識グラフの背後にある表現を利用する。 私たちの仕事は、様々なスコア関数に適応する強力な堅牢性と柔軟性を持っています。
  論文  参考訳（メタデータ） (2021-08-22T04:10:35Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。