論文の概要: Multi-modal Contrastive Representation Learning for Entity Alignment

• arxiv url: http://arxiv.org/abs/2209.00891v1
• Date: Fri, 2 Sep 2022 08:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-05 11:58:21.755670
• Title: Multi-modal Contrastive Representation Learning for Entity Alignment
• Title（参考訳）: エンティティアライメントのためのマルチモーダルコントラスト表現学習
• Authors: Zhenxi Lin, Ziheng Zhang, Meng Wang, Yinghui Shi, Xian Wu, Yefeng Zheng
• Abstract要約: マルチモーダルなエンティティアライメントは、2つの異なるマルチモーダルな知識グラフ間で等価なエンティティを識別することを目的としている。 マルチモーダルコントラスト学習に基づくエンティティアライメントモデルであるMCLEAを提案する。 特に、MCLEAはまず複数のモダリティから複数の個別表現を学習し、その後、モダリティ内およびモダリティ間相互作用を共同でモデル化するコントラスト学習を行う。
• 参考スコア（独自算出の注目度）: 57.92705405276161
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal entity alignment aims to identify equivalent entities between two different multi-modal knowledge graphs, which consist of structural triples and images associated with entities. Most previous works focus on how to utilize and encode information from different modalities, while it is not trivial to leverage multi-modal knowledge in entity alignment because of the modality heterogeneity. In this paper, we propose MCLEA, a Multi-modal Contrastive Learning based Entity Alignment model, to obtain effective joint representations for multi-modal entity alignment. Different from previous works, MCLEA considers task-oriented modality and models the inter-modal relationships for each entity representation. In particular, MCLEA firstly learns multiple individual representations from multiple modalities, and then performs contrastive learning to jointly model intra-modal and inter-modal interactions. Extensive experimental results show that MCLEA outperforms state-of-the-art baselines on public datasets under both supervised and unsupervised settings.
• Abstract（参考訳）: マルチモーダルなエンティティアライメントは、2つの異なるマルチモーダルな知識グラフの間の等価なエンティティを識別することを目的としている。 これまでのほとんどの研究は、異なるモダリティからの情報の活用とエンコードに重点を置いていたが、モダリティの不均一性のため、エンティティアライメントにおけるマルチモーダル知識の活用は容易ではない。 本稿では,マルチモーダルコントラスト学習に基づくエンティティアライメントモデルであるmcleaを提案し,マルチモーダルエンティティアライメントのための効果的なジョイント表現を得る。 以前の研究と異なり、MCLEAはタスク指向のモダリティを考慮し、各エンティティ表現のモーダル間関係をモデル化する。 特に、MCLEAはまず複数のモダリティから複数の個別表現を学習し、その後、モダリティ内およびモダリティ間相互作用を共同でモデル化するコントラスト学習を行う。 大規模な実験結果から、MCLEAは、教師なしと教師なしの両方の設定下で、公開データセットの最先端のベースラインを上回っている。

関連論文リスト

• Leveraging Entity Information for Cross-Modality Correlation Learning: The Entity-Guided Multimodal Summarization [49.08348604716746]
  Multimodal Summarization with Multimodal Output (MSMO) は、テキストと関連する画像の両方を統合するマルチモーダル要約を作成することを目的としている。 本稿では,Entity-Guided Multimodal Summarization Model (EGMS)を提案する。 我々のモデルは,BART上に構築され,共有重み付きデュアルマルチモーダルエンコーダを用いて,テキスト画像とエンティティ画像情報を並列に処理する。
  論文  参考訳（メタデータ） (2024-08-06T12:45:56Z)
• A Framework for Multi-modal Learning: Jointly Modeling Inter- & Intra-Modality Dependencies [42.16496299814368]
  我々は、モーダリティ間の依存にのみ依存する従来のアプローチは、一般的に最適ではないかもしれないと論じる。 モーダリティ間の依存を捕捉・統合する言語間・モダリティ間モデリング(I2M2)フレームワークを提案する。 現実の医療と最先端のモデルを用いたビジョン・アンド・ザ・アーティカルなデータセットを用いて、我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-05-27T19:22:41Z)
• Multiple Heads are Better than One: Mixture of Modality Knowledge Experts for Entity Representation Learning [51.80447197290866]
  高品質なマルチモーダル実体表現を学習することは、マルチモーダル知識グラフ(MMKG)表現学習の重要な目標である。 既存の手法は、エレガントなエンティティワイドマルチモーダル融合戦略の構築に重点を置いている。 適応型マルチモーダルな実体表現を学習するために,Mixture of Modality Knowledge Expert (MoMoK) を用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-27T06:36:17Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• Leveraging Intra-modal and Inter-modal Interaction for Multi-Modal Entity Alignment [27.28214706269035]
  マルチモーダル・エンティティ・アライメント(MMEA)は、異なるマルチモーダル・ナレッジ・グラフ(MMKG)間で等価なエンティティ・ペアを識別することを目的としている。 本稿では,マルチモーダルエンティティアライメントのための多言語インタラクションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-19T08:43:11Z)
• NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
  本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。 提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-28T03:04:00Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• MESED: A Multi-modal Entity Set Expansion Dataset with Fine-grained Semantic Classes and Hard Negative Entities [25.059177235004952]
  本稿では,マルチモーダル・エンティティ・セット・エクスパンジョン(MESE)を提案する。 4つのマルチモーダル事前学習タスクで事前学習を行う強力なマルチモーダルモデルであるMultiExpanを提案する。 MESEDデータセットは、大規模かつ精巧な手動キャリブレーションを備えたESEのための最初のマルチモーダルデータセットである。
  論文  参考訳（メタデータ） (2023-07-27T14:09:59Z)
• Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis [11.368438990334397]
  我々は,独立した一助的指導を受けるための自己指導型学習戦略を開発する。 我々は3つの公開マルチモーダルベースラインデータセットについて広範な実験を行った。 提案手法は,人間の注釈付きアンモダルラベルと同等の性能を達成している。
  論文  参考訳（メタデータ） (2021-02-09T14:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。