論文の概要: Pseudo-Label Calibration Semi-supervised Multi-Modal Entity Alignment
- arxiv url: http://arxiv.org/abs/2403.01203v1
- Date: Sat, 2 Mar 2024 12:44:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 14:49:06.972380
- Title: Pseudo-Label Calibration Semi-supervised Multi-Modal Entity Alignment
- Title(参考訳): 擬似ラベル校正半教師型マルチモーダルエンティティアライメント
- Authors: Luyao Wang and Pengnian Qi and Xigang Bao and Chunlai Zhou and Biao
Qin
- Abstract要約: マルチモーダル・エンティティ・アライメント(MMEA)は、統合のための2つのマルチモーダル・ナレッジ・グラフ間で等価なエンティティを識別することを目的としている。
Pseudo-label Multimodal Entity Alignment (PCMEA) を半教師付き方式で導入する。
モーメントに基づくコントラスト学習とラベル付きデータとラベルなしデータの完全活用を組み合わせることで、擬似ラベルの品質を向上し、アライメントされたエンティティを近づける。
- 参考スコア(独自算出の注目度): 7.147651976133246
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal entity alignment (MMEA) aims to identify equivalent entities
between two multi-modal knowledge graphs for integration. Unfortunately, prior
arts have attempted to improve the interaction and fusion of multi-modal
information, which have overlooked the influence of modal-specific noise and
the usage of labeled and unlabeled data in semi-supervised settings. In this
work, we introduce a Pseudo-label Calibration Multi-modal Entity Alignment
(PCMEA) in a semi-supervised way. Specifically, in order to generate holistic
entity representations, we first devise various embedding modules and attention
mechanisms to extract visual, structural, relational, and attribute features.
Different from the prior direct fusion methods, we next propose to exploit
mutual information maximization to filter the modal-specific noise and to
augment modal-invariant commonality. Then, we combine pseudo-label calibration
with momentum-based contrastive learning to make full use of the labeled and
unlabeled data, which improves the quality of pseudo-label and pulls aligned
entities closer. Finally, extensive experiments on two MMEA datasets
demonstrate the effectiveness of our PCMEA, which yields state-of-the-art
performance.
- Abstract(参考訳): マルチモーダルエンティティアライメント(MMEA)は、統合のための2つのマルチモーダル知識グラフ間で等価なエンティティを識別することを目的としている。
残念なことに、先行技術はマルチモーダル情報の相互作用と融合を改善しようとしており、モダル特有のノイズやラベル付きデータやラベル付きデータの半教師付き設定の影響を見逃している。
本研究では,Pseudo-label Calibration Multi-modal Entity Alignment(PCMEA)を半教師付き方式で導入する。
具体的には,様々な埋め込みモジュールとアテンション機構を考案し,視覚的,構造的,関係的,属性的特徴を抽出した。
本稿では,従来の直接融合法と異なり,モーダル固有ノイズをフィルタし,モーダル不変の共通性を高めるために相互情報の最大化を利用する手法を提案する。
そして,擬似ラベルキャリブレーションと運動量に基づくコントラスト学習を組み合わせることで,ラベル付きデータとラベルなしデータの完全活用を実現し,擬似ラベルの品質を向上し,アライメントされたエンティティを近づける。
最後に,2つのMMEAデータセットに対する広範な実験により,PCMEAの有効性が示された。
関連論文リスト
- CARAT: Contrastive Feature Reconstruction and Aggregation for
Multi-Modal Multi-Label Emotion Recognition [18.75994345925282]
マルチモーダルマルチラベル感情認識(MMER)は、複数のモーダルから関連する感情を識別することを目的としている。
MMERの課題は、異種データから複数のラベルの識別機能を効果的に取得する方法である。
本稿では,MMERタスクのためのContrAstive Feature Restruction and AggregaTion(CARAT)を提案する。
論文 参考訳(メタデータ) (2023-12-15T20:58:05Z) - Multi-Modal Knowledge Graph Transformer Framework for Multi-Modal Entity
Alignment [17.592908862768425]
そこで我々はMoAlignと呼ばれる新しいMMEA変換器を提案し,その特徴,マルチモーダル属性,エンティティタイプを階層的に導入する。
変換器の複数の情報をよりよく統合する能力を利用して、変換器エンコーダの階層的修飾自己保持ブロックを設計する。
当社のアプローチは強力な競争相手よりも優れ,優れたエンティティアライメント性能を実現している。
論文 参考訳(メタデータ) (2023-10-10T07:06:06Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳(メタデータ) (2023-09-22T06:55:41Z) - Correlation-Aware Mutual Learning for Semi-supervised Medical Image
Segmentation [5.045813144375637]
既存の半教師付きセグメンテーション手法の多くは、ラベルのないデータから情報を取り出すことのみに焦点を当てている。
本稿では,ラベル付きデータを利用してラベル付きデータから情報を抽出する相関学習フレームワークを提案する。
提案手法は,CMA(Cross-sample Mutual Attention Module)とOCC(Omni-Correlation Consistency Module)の2つのモジュールを組み込んだ相互学習戦略に基づいている。
論文 参考訳(メタデータ) (2023-07-12T17:20:05Z) - MEAformer: Multi-modal Entity Alignment Transformer for Meta Modality
Hybrid [40.745848169903105]
マルチモーダル・エンティティ・アライメント(MMEA)は、異なる知識グラフにまたがる同一のエンティティを発見することを目的としている。
MMEAアルゴリズムはマルチモーダル実体表現のためのKGレベルのモダリティ融合戦略に依存している。
本稿ではメタモダリティハイブリッドのためのマルチモーダルエンティティアライメントトランスであるMEAformerを紹介する。
論文 参考訳(メタデータ) (2022-12-29T20:49:58Z) - Multi-modal Contrastive Representation Learning for Entity Alignment [57.92705405276161]
マルチモーダルなエンティティアライメントは、2つの異なるマルチモーダルな知識グラフ間で等価なエンティティを識別することを目的としている。
マルチモーダルコントラスト学習に基づくエンティティアライメントモデルであるMCLEAを提案する。
特に、MCLEAはまず複数のモダリティから複数の個別表現を学習し、その後、モダリティ内およびモダリティ間相互作用を共同でモデル化するコントラスト学習を行う。
論文 参考訳(メタデータ) (2022-09-02T08:59:57Z) - Entity-Graph Enhanced Cross-Modal Pretraining for Instance-level Product
Retrieval [152.3504607706575]
本研究の目的は, 細粒度製品カテゴリを対象とした, 弱制御型マルチモーダル・インスタンスレベルの製品検索である。
まず、Product1Mデータセットをコントリビュートし、2つの実際のインスタンスレベルの検索タスクを定義します。
我々は、マルチモーダルデータから重要な概念情報を組み込むことができるより効果的なクロスモーダルモデルを訓練するために活用する。
論文 参考訳(メタデータ) (2022-06-17T15:40:45Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳(メタデータ) (2021-07-28T23:33:42Z) - Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。
複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。
我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
論文 参考訳(メタデータ) (2021-06-30T22:44:12Z) - Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。
我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
論文 参考訳(メタデータ) (2021-06-23T17:54:35Z) - Self-Supervised Multimodal Domino: in Search of Biomarkers for
Alzheimer's Disease [19.86082635340699]
自己監督型表現学習アルゴリズムを編成する合理的な方法の分類法を提案する。
まず,おもちゃのマルチモーダルMNISTデータセットのモデルを評価し,アルツハイマー病患者を用いたマルチモーダル・ニューロイメージングデータセットに適用した。
提案手法は,従来の自己教師付きエンコーダデコーダ法よりも優れていた。
論文 参考訳(メタデータ) (2020-12-25T20:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。