論文の概要: Contrast then Memorize: Semantic Neighbor Retrieval-Enhanced Inductive Multimodal Knowledge Graph Completion
- arxiv url: http://arxiv.org/abs/2407.02867v1
- Date: Wed, 3 Jul 2024 07:31:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 15:15:24.750323
- Title: Contrast then Memorize: Semantic Neighbor Retrieval-Enhanced Inductive Multimodal Knowledge Graph Completion
- Title（参考訳）: 対照的に, セマンティック近傍検索強化帰納的多モーダル知識グラフ補完
- Authors: Yu Zhao, Ying Zhang, Baohang Zhou, Xinying Qian, Kehui Song, Xiangrui Cai,
- Abstract要約: マルチモーダル知識グラフ補完(MKGC)は、MKGの欠落するリンクを予測するために多くの研究がなされている。
既存の帰納的アプローチは、視覚的モダリティにおいてリッチな意味情報を無視するテキストエンティティ表現の学習に重点を置いている。
本稿では, セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティクス(IMKGC) フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 12.504140924121872
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A large number of studies have emerged for Multimodal Knowledge Graph Completion (MKGC) to predict the missing links in MKGs. However, fewer studies have been proposed to study the inductive MKGC (IMKGC) involving emerging entities unseen during training. Existing inductive approaches focus on learning textual entity representations, which neglect rich semantic information in visual modality. Moreover, they focus on aggregating structural neighbors from existing KGs, which of emerging entities are usually limited. However, the semantic neighbors are decoupled from the topology linkage and usually imply the true target entity. In this paper, we propose the IMKGC task and a semantic neighbor retrieval-enhanced IMKGC framework CMR, where the contrast brings the helpful semantic neighbors close, and then the memorize supports semantic neighbor retrieval to enhance inference. Specifically, we first propose a unified cross-modal contrastive learning to simultaneously capture the textual-visual and textual-textual correlations of query-entity pairs in a unified representation space. The contrastive learning increases the similarity of positive query-entity pairs, therefore making the representations of helpful semantic neighbors close. Then, we explicitly memorize the knowledge representations to support the semantic neighbor retrieval. At test time, we retrieve the nearest semantic neighbors and interpolate them to the query-entity similarity distribution to augment the final prediction. Extensive experiments validate the effectiveness of CMR on three inductive MKGC datasets. Codes are available at https://github.com/OreOZhao/CMR.
- Abstract（参考訳）: マルチモーダル知識グラフ補完(MKGC)は、MKGの欠落するリンクを予測するために多くの研究がなされている。
しかし、トレーニング中に見つからない新興物質を含む誘導性MKGC(IMKGC)を研究する研究は少ない。
既存の帰納的アプローチは、視覚的モダリティにおいてリッチな意味情報を無視するテキストエンティティ表現の学習に重点を置いている。
さらに、彼らは既存のKGから構造上の隣人を集約することに注力している。
しかし、セマンティックな隣人はトポロジーリンクから切り離され、通常は真のターゲットエンティティを意味する。
本稿では,IMKGC タスクと IMKGC フレームワーク CMR を提案する。
具体的には、まず、一貫した表現空間において、問合せ対のテキスト・視覚・テキスト・テキストの相関を同時に捉えるために、一貫したクロスモーダル・コントラスト学習を提案する。
対照的な学習は、正の問合せ対の類似性を高めるため、有用なセマンティックな隣人の表現を近接させる。
そして,その知識表現を明示的に記憶し,セマンティックな隣人検索を支援する。
テスト時には、最も近いセマンティックな隣人を検索し、それらを問合せの類似度分布に補間し、最終的な予測を補強する。
広範囲な実験により、3つのMKGCデータセットに対するCMRの有効性が検証された。
コードはhttps://github.com/OreOZhao/CMRで入手できる。
関連論文リスト
- Non-Neighbors Also Matter to Kriging: A New Contrastive-Prototypical
Learning [24.701170582359104]
既存の研究は、隣人の情報が、観測されていない対象の属性を推定する基盤を提供すると仮定している。
本研究では,隣人からの貴重な情報を洗練し,非隣人からの情報を再利用するために,KrigingのためのContrastive-Prototypealの自己教師型学習を提案する。
論文 参考訳（メタデータ） (2024-01-23T11:46:31Z) - Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。
融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。
我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
論文 参考訳（メタデータ） (2023-08-19T09:12:13Z) - Knowledge-Enhanced Hierarchical Information Correlation Learning for
Multi-Modal Rumor Detection [82.94413676131545]
マルチモーダルなうわさ検出のための知識強化型階層型情報相関学習手法(KhiCL)を提案する。
KhiCLは異質な一様性特徴を共通特徴空間に伝達するために、クロスモーダルな関節辞書を利用する。
画像やテキストから視覚的およびテキスト的実体を抽出し、知識関連推論戦略を設計する。
論文 参考訳（メタデータ） (2023-06-28T06:08:20Z) - Learnable Pillar-based Re-ranking for Image-Text Retrieval [119.9979224297237]
画像テキスト検索は、モダリティギャップを埋め、意味的類似性に基づいてモダリティコンテンツを検索することを目的としている。
一般的なポストプロセッシング手法であるリグレードは, 単一モダリティ検索タスクにおいて, 隣り合う関係を捕捉する優位性を明らかにしている。
本稿では,画像テキスト検索のための新しい学習可能な柱型リグレードパラダイムを提案する。
論文 参考訳（メタデータ） (2023-04-25T04:33:27Z) - FECANet: Boosting Few-Shot Semantic Segmentation with Feature-Enhanced
Context-Aware Network [48.912196729711624]
Few-shot セマンティックセグメンテーション(Few-shot semantic segmentation)は、新しいクラスの各ピクセルを、わずかに注釈付きサポートイメージで検索するタスクである。
本稿では,クラス間の類似性に起因するマッチングノイズを抑制するために,機能拡張コンテキスト認識ネットワーク(FECANet)を提案する。
さらに,前景と背景の余分な対応関係を符号化する新たな相関再構成モジュールを提案する。
論文 参考訳（メタデータ） (2023-01-19T16:31:13Z) - Relational Message Passing for Fully Inductive Knowledge Graph
Completion [37.29833710603933]
知識グラフ補完(KGC)では、KG埋め込みが学習されると見つからない新しい実体や関係を含む三重項を予測することが重要な課題となっている。
メッセージパッシングによるサブグラフ推論は、有望で人気のあるソリューションである。
そこで本研究では,新しいメッセージパッシングネットワークを用いたRMPIという手法を提案する。
論文 参考訳（メタデータ） (2022-10-08T10:35:52Z) - Learning Attention-based Representations from Multiple Patterns for
Relation Prediction in Knowledge Graphs [2.4028383570062606]
AEMPは、エンティティのコンテキスト情報を取得することによって、コンテキスト化された表現を学習するための新しいモデルである。
AEMPは、最先端の関係予測手法よりも優れるか、競合する。
論文 参考訳（メタデータ） (2022-06-07T10:53:35Z) - Reasoning Through Memorization: Nearest Neighbor Knowledge Graph
Embeddings [29.94706167233985]
kNN-KGEは、事前訓練された言語モデルを用いた新しい知識グラフ埋め込みアプローチである。
我々は、知識ストアからのエンティティ埋め込み空間内の距離に基づいて、最も近い隣人を計算する。
論文 参考訳（メタデータ） (2022-01-14T17:35:16Z) - Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。
本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
論文 参考訳（メタデータ） (2021-01-16T16:18:43Z) - Neighborhood Matching Network for Entity Alignment [71.24217694278616]
Neighborhood Matching Network (NMN)は、新しいエンティティアライメントフレームワークである。
NMNは、トポロジカル構造と近傍差の両方を捉えるために、エンティティ間の類似性を推定する。
まず、新しいグラフサンプリング法を用いて、各エンティティの識別的近傍を蒸留する。
その後、クロスグラフの近傍マッチングモジュールを採用し、与えられたエンティティペアの近傍差を共同で符号化する。
論文 参考訳（メタデータ） (2020-05-12T08:26:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。