論文の概要: Multi-modal Contrastive Representation Learning for Entity Alignment

• arxiv url: http://arxiv.org/abs/2209.00891v1
• Date: Fri, 2 Sep 2022 08:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-05 11:58:21.755670
• Title: Multi-modal Contrastive Representation Learning for Entity Alignment
• Title（参考訳）: エンティティアライメントのためのマルチモーダルコントラスト表現学習
• Authors: Zhenxi Lin, Ziheng Zhang, Meng Wang, Yinghui Shi, Xian Wu, Yefeng Zheng
• Abstract要約: マルチモーダルなエンティティアライメントは、2つの異なるマルチモーダルな知識グラフ間で等価なエンティティを識別することを目的としている。 マルチモーダルコントラスト学習に基づくエンティティアライメントモデルであるMCLEAを提案する。 特に、MCLEAはまず複数のモダリティから複数の個別表現を学習し、その後、モダリティ内およびモダリティ間相互作用を共同でモデル化するコントラスト学習を行う。
• 参考スコア（独自算出の注目度）: 57.92705405276161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal entity alignment aims to identify equivalent entities between two different multi-modal knowledge graphs, which consist of structural triples and images associated with entities. Most previous works focus on how to utilize and encode information from different modalities, while it is not trivial to leverage multi-modal knowledge in entity alignment because of the modality heterogeneity. In this paper, we propose MCLEA, a Multi-modal Contrastive Learning based Entity Alignment model, to obtain effective joint representations for multi-modal entity alignment. Different from previous works, MCLEA considers task-oriented modality and models the inter-modal relationships for each entity representation. In particular, MCLEA firstly learns multiple individual representations from multiple modalities, and then performs contrastive learning to jointly model intra-modal and inter-modal interactions. Extensive experimental results show that MCLEA outperforms state-of-the-art baselines on public datasets under both supervised and unsupervised settings.
• Abstract（参考訳）: マルチモーダルなエンティティアライメントは、2つの異なるマルチモーダルな知識グラフの間の等価なエンティティを識別することを目的としている。 これまでのほとんどの研究は、異なるモダリティからの情報の活用とエンコードに重点を置いていたが、モダリティの不均一性のため、エンティティアライメントにおけるマルチモーダル知識の活用は容易ではない。 本稿では,マルチモーダルコントラスト学習に基づくエンティティアライメントモデルであるmcleaを提案し,マルチモーダルエンティティアライメントのための効果的なジョイント表現を得る。 以前の研究と異なり、MCLEAはタスク指向のモダリティを考慮し、各エンティティ表現のモーダル間関係をモデル化する。 特に、MCLEAはまず複数のモダリティから複数の個別表現を学習し、その後、モダリティ内およびモダリティ間相互作用を共同でモデル化するコントラスト学習を行う。 大規模な実験結果から、MCLEAは、教師なしと教師なしの両方の設定下で、公開データセットの最先端のベースラインを上回っている。

関連論文リスト

• Multimodal Contrastive Learning via Uni-Modal Coding and Cross-Modal Prediction for Multimodal Sentiment Analysis [19.07020276666615]
  本稿では,マルチモーダル表現のためのMMCL(MultiModal Contrastive Learning)というフレームワークを提案する。 また、予測のプロセスを促進し、感情に関連するよりインタラクティブな情報を学ぶために、事例ベースと感情ベースのコントラスト学習という2つのコントラスト学習タスクを設計する。
  論文  参考訳（メタデータ） (2022-10-26T08:24:15Z)
• Multi-scale Cooperative Multimodal Transformers for Multimodal Sentiment Analysis in Videos [58.93586436289648]
  マルチモーダル感情分析のためのマルチスケール協調型マルチモーダルトランス (MCMulT) アーキテクチャを提案する。 本モデルは,非整合型マルチモーダル列に対する既存手法よりも優れ,整合型マルチモーダル列に対する強い性能を有する。
  論文  参考訳（メタデータ） (2022-06-16T07:47:57Z)
• HighMMT: Towards Modality and Task Generalization for High-Modality Representation Learning [121.81678875923524]
  マルチタスクと移動学習が可能な汎用マルチモーダルモデルを設計する。 得られたモデルは、テキスト、画像、ビデオ、オーディオ、時系列、センサー、テーブルにまたがって一般化され、異なる研究領域から設定される。 コードとベンチマークを公開し、その後の理論的および経験的分析のための統一されたプラットフォームを提供したいと思っています。
  論文  参考訳（メタデータ） (2022-03-02T18:56:20Z)
• Multimodal Representations Learning Based on Mutual Information Maximization and Minimization and Identity Embedding for Multimodal Sentiment Analysis [33.73730195500633]
  相互情報の最大化とアイデンティティの埋め込みに基づくマルチモーダル表現モデルを提案する。 2つの公開データセットの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-01-10T01:41:39Z)
• Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
  MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。 我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
  論文  参考訳（メタデータ） (2021-06-23T17:54:35Z)
• Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis [11.368438990334397]
  我々は,独立した一助的指導を受けるための自己指導型学習戦略を開発する。 我々は3つの公開マルチモーダルベースラインデータセットについて広範な実験を行った。 提案手法は,人間の注釈付きアンモダルラベルと同等の性能を達成している。
  論文  参考訳（メタデータ） (2021-02-09T14:05:02Z)
• Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models [86.9292779620645]
  生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。 提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
  論文  参考訳（メタデータ） (2020-07-02T15:08:11Z)
• InterBERT: Vision-and-Language Interaction for Multi-modal Pretraining [76.32065400614162]
  我々は,本シリーズのマルチモーダル事前学習手法M6の最初のモデルであるInterBERT(BERT for Interaction)を提案する。 モデルは、異なるモダリティの情報フロー間の相互作用をモデル化する強力な能力を持っている。 中国語におけるマルチモーダル事前学習のための大規模データセットを提案し,中国初のマルチモーダル事前学習モデルである中国語InterBERTを開発した。
  論文  参考訳（メタデータ） (2020-03-30T03:13:22Z)
• Adversarial Multimodal Representation Learning for Click-Through Rate Prediction [16.10640369157054]
  本稿では,Click-Through Rate (CTR)予測タスクのための新しいマルチモーダル適応表現ネットワーク(MARN)を提案する。 マルチモーダルアテンションネットワークは、まず、各項目の複数のモーダルティの重みを、そのモーダル比の特徴に応じて算出する。 マルチモーダル対向ネットワークは、二重識別器戦略を導入するモードイン表現を学習する。
  論文  参考訳（メタデータ） (2020-03-07T15:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。