論文の概要: MoSE: Modality Split and Ensemble for Multimodal Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2210.08821v1
• Date: Mon, 17 Oct 2022 08:09:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 20:04:31.760094
• Title: MoSE: Modality Split and Ensemble for Multimodal Knowledge Graph Completion
• Title（参考訳）: MoSE: マルチモーダルな知識グラフ補完のためのモダリティ分割とアンサンブル
• Authors: Yu Zhao, Xiangrui Cai, Yike Wu, Haiwei Zhang, Ying Zhang, Guoqing Zhao, Ning Jiang
• Abstract要約: マルチモーダル知識グラフ補完(MKGC)は、MKGの欠落したエンティティを予測することを目的としている。 MKGCのためのモダリティ分割表現学習およびアンサンブル推論フレームワークであるMoSEを提案する。 3つのKGデータセットの実験結果は、MoSEが最先端のMKGC法より優れていることを示している。
• 参考スコア（独自算出の注目度）: 11.878018501526945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal knowledge graph completion (MKGC) aims to predict missing entities in MKGs. Previous works usually share relation representation across modalities. This results in mutual interference between modalities during training, since for a pair of entities, the relation from one modality probably contradicts that from another modality. Furthermore, making a unified prediction based on the shared relation representation treats the input in different modalities equally, while their importance to the MKGC task should be different. In this paper, we propose MoSE, a Modality Split representation learning and Ensemble inference framework for MKGC. Specifically, in the training phase, we learn modality-split relation embeddings for each modality instead of a single modality-shared one, which alleviates the modality interference. Based on these embeddings, in the inference phase, we first make modality-split predictions and then exploit various ensemble methods to combine the predictions with different weights, which models the modality importance dynamically. Experimental results on three KG datasets show that MoSE outperforms state-of-the-art MKGC methods. Codes are available at https://github.com/OreOZhao/MoSE4MKGC.
• Abstract（参考訳）: マルチモーダル知識グラフ補完(MKGC)は、MKGの欠落したエンティティを予測することを目的としている。 以前の作品は通常、モダリティ間の関係表現を共有する。 これは訓練中のモダリティ間の相互干渉をもたらす、なぜなら一対の実体に対して、あるモダリティとの関係はおそらく他のモダリティとの関係と矛盾するからである。 さらに、共有関係表現に基づく統一的な予測を行うことは、MKGCタスクに対する重要性が異なる一方で、異なるモードでの入力を等しく扱う。 本稿では,MKGCのためのモダリティ分割表現学習およびアンサンブル推論フレームワークであるMoSEを提案する。 具体的には、トレーニング段階では、単一のモダリティ共有ではなく、各モダリティに対するモダリティとスプリットの関係埋め込みを学習し、モダリティ干渉を緩和する。 これらの埋め込みに基づいて、まずまずモーダリティ分割予測を行い、次に様々なアンサンブル法を用いて様々な重み付けを行い、モーダリティの重要性を動的にモデル化する。 3つのKGデータセットの実験結果は、MoSEが最先端のMKGC法より優れていることを示している。 コードはhttps://github.com/OreOZhao/MoSE4MKGCで公開されている。

関連論文リスト

• Harnessing Shared Relations via Multimodal Mixup Contrastive Learning for Multimodal Classification [3.6616868775630587]
  マルチモーダルデータに固有のニュアンス付き共有関係を抽出するマルチモーダル混合コントラスト学習手法であるM3CoLを提案する。 我々の研究は、堅牢なマルチモーダル学習のための共有関係の学習の重要性を強調し、将来の研究に有望な道を開く。
  論文  参考訳（メタデータ） (2024-09-26T12:15:13Z)
• Robust Multimodal Learning via Representation Decoupling [6.7678581401558295]
  マルチモーダル学習はその実用性から注目を集めている。 既存の手法は、異なるモダリティの組み合わせに対して共通の部分空間表現を学習することで、この問題に対処する傾向がある。 本稿では,頑健なマルチモーダル学習を支援するために,DMRNet(Decoupled Multimodal Representation Network)を提案する。
  論文  参考訳（メタデータ） (2024-07-05T12:09:33Z)
• NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
  本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。 提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-28T03:04:00Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• A Self-Adjusting Fusion Representation Learning Model for Unaligned Text-Audio Sequences [16.38826799727453]
  融合表現を学習するために各モダリティの関連情報を統合する方法は、マルチモーダル学習における中心的な課題の1つとなっている。 本稿では,不整合テキストや音声シーケンスから直接,頑健な相互拡散表現を学習するために,自己調整型融合表現学習モデルを提案する。 実験結果から,本モデルでは不整合テキスト・オーディオ・シーケンスにおける全ての指標の性能が大幅に向上したことが示された。
  論文  参考訳（メタデータ） (2022-11-12T13:05:28Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
  機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。 複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。 我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-06-30T22:44:12Z)
• Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
  MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。 我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
  論文  参考訳（メタデータ） (2021-06-23T17:54:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。