Fugu-MT 論文翻訳(概要): SMiLE: Schema-augmented Multi-level Contrastive Learning for Knowledge Graph Link Prediction

論文の概要: SMiLE: Schema-augmented Multi-level Contrastive Learning for Knowledge Graph Link Prediction

arxiv url: http://arxiv.org/abs/2210.04870v3
Date: Mon, 4 Mar 2024 03:38:14 GMT
ステータス: 処理完了
システム内更新日: 2024-03-07 04:19:24.174206
Title: SMiLE: Schema-augmented Multi-level Contrastive Learning for Knowledge Graph Link Prediction
Title（参考訳）: SMiLE:知識グラフリンク予測のためのスキーマ強化マルチレベルコントラスト学習
Authors: Miao Peng, Ben Liu, Qianqian Xie, Wenjie Xu, Hua Wang, Min Peng
Abstract要約: リンク予測は、知識グラフにおけるエンティティ間の欠落したリンクを推測するタスクである。本稿では,知識グラフリンク予測を行うための新しいマルチレベルコントラスト学習フレームワーク(SMiLE)を提案する。
参考スコア（独自算出の注目度）: 28.87290783250351
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Link prediction is the task of inferring missing links between entities in knowledge graphs. Embedding-based methods have shown effectiveness in addressing this problem by modeling relational patterns in triples. However, the link prediction task often requires contextual information in entity neighborhoods, while most existing embedding-based methods fail to capture it. Additionally, little attention is paid to the diversity of entity representations in different contexts, which often leads to false prediction results. In this situation, we consider that the schema of knowledge graph contains the specific contextual information, and it is beneficial for preserving the consistency of entities across contexts. In this paper, we propose a novel Schema-augmented Multi-level contrastive LEarning framework (SMiLE) to conduct knowledge graph link prediction. Specifically, we first exploit network schema as the prior constraint to sample negatives and pre-train our model by employing a multi-level contrastive learning method to yield both prior schema and contextual information. Then we fine-tune our model under the supervision of individual triples to learn subtler representations for link prediction. Extensive experimental results on four knowledge graph datasets with thorough analysis of each component demonstrate the effectiveness of our proposed framework against state-of-the-art baselines. The implementation of SMiLE is available at https://github.com/GKNL/SMiLE.
Abstract（参考訳）: リンク予測は知識グラフにおけるエンティティ間の欠落リンクを推測するタスクである。埋め込みに基づく手法は三重項間の関係パターンをモデル化することでこの問題に対処する効果を示した。しかし、リンク予測タスクはエンティティの近傍でコンテキスト情報を必要とすることが多いが、既存の埋め込み方式ではそれを捕捉できない。さらに、異なる文脈における実体表現の多様性にはほとんど注意が払われず、しばしば誤った予測結果をもたらす。このような状況下では,知識グラフのスキーマには特定の文脈情報が含まれており,文脈間のエンティティの一貫性を保つのに有用であると考えられる。本稿では,知識グラフリンク予測を行うためのSMILE(Schema-augmented Multi-level contrastive LEarning framework)を提案する。具体的には,まずネットワークスキーマを事前の制約として活用し,事前のスキーマ情報と文脈情報の両方を得るための多レベルコントラスト学習手法を用いて,事前学習を行った。次に、各トリプルの監督の下でモデルを微調整し、リンク予測のための微妙な表現を学習する。各コンポーネントを徹底的に分析した4つの知識グラフデータセットの大規模な実験結果から,提案手法の有効性が示された。 SMiLEの実装はhttps://github.com/GKNL/SMiLEで公開されている。

関連論文リスト

G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
論文参考訳（メタデータ） (2024-05-09T08:28:12Z)
Learning Representations without Compositional Assumptions [79.12273403390311]
本稿では,特徴集合をグラフノードとして表現し,それらの関係を学習可能なエッジとして表現することで,特徴集合の依存関係を学習するデータ駆動型アプローチを提案する。また,複数のビューから情報を動的に集約するために,より小さな潜在グラフを学習する新しい階層グラフオートエンコーダLEGATOを導入する。
論文参考訳（メタデータ） (2023-05-31T10:36:10Z)
ConGraT: Self-Supervised Contrastive Pretraining for Joint Graph and Text Embeddings [20.25180279903009]
テキスト分散グラフ(TAG)におけるテキストとノードの分離表現を共同学習するためのContrastive Graph-Text Pretraining(ConGraT)を提案する。提案手法は言語モデル(LM)とグラフニューラルネットワーク(GNN)を訓練し,CLIPにインスパイアされたバッチワイドコントラスト学習目標を用いて,それらの表現を共通の潜在空間に整列させる。実験により、ConGraTは、ノードとテキストのカテゴリ分類、リンク予測、言語モデリングなど、さまざまな下流タスクのベースラインよりも優れていることが示された。
論文参考訳（メタデータ） (2023-05-23T17:53:30Z)
Cross-view Graph Contrastive Representation Learning on Partially Aligned Multi-view Data [52.491074276133325]
マルチビュー表現学習は、過去数十年間で急速に発展し、多くの分野に応用されてきた。本稿では,多視点情報を統合してデータアライメントを行い,潜在表現を学習する,新しいクロスビューグラフコントラスト学習フレームワークを提案する。複数の実データを用いて実験を行い,クラスタリングおよび分類作業における提案手法の有効性を示した。
論文参考訳（メタデータ） (2022-11-08T09:19:32Z)
Fine-Grained Visual Entailment [51.66881737644983]
そこで本稿では,テキストから画像への微粒な知識要素の論理的関係を予測することを目的として,このタスクの拡張を提案する。従来の研究とは異なり、本手法は本質的に説明可能であり、異なるレベルの粒度で論理的予測を行う。本手法は,手動でアノテートした知識要素のデータセットを用いて評価し,この課題に対して68.18%の精度を達成できることを示す。
論文参考訳（メタデータ） (2022-03-29T16:09:38Z)
LP-BERT: Multi-task Pre-training Knowledge Graph BERT for Link Prediction [3.5382535469099436]
LP-BERTは、マルチタスク事前学習と知識グラフ微調整の2つのトレーニング段階を含む。 WN18RRとUMLSデータセット、特にHits@10インジケータを5%改善した。
論文参考訳（メタデータ） (2022-01-13T09:18:30Z)
Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
グラフ組み込み数ショット学習に関する包括的な研究を紹介します。本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
論文参考訳（メタデータ） (2021-02-14T05:28:13Z)
PPKE: Knowledge Representation Learning by Path-based Pre-training [43.41597219004598]
PPKEと呼ばれる知識埋め込み学習のためのパスベース事前学習モデルを提案する。本モデルはリンク予測と関係予測タスクのためのいくつかのベンチマークデータセットで最新の結果を得る。
論文参考訳（メタデータ） (2020-12-07T10:29:30Z)
Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph Link Prediction [69.1473775184952]
数発のアウトオブグラフリンク予測という現実的な問題を導入する。我々は,新しいメタ学習フレームワークによってこの問題に対処する。我々は,知識グラフの補完と薬物と薬物の相互作用予測のために,複数のベンチマークデータセット上でモデルを検証した。
論文参考訳（メタデータ） (2020-06-11T17:42:46Z)
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。