論文の概要: Subgraph-Aware Training of Language Models for Knowledge Graph Completion Using Structure-Aware Contrastive Learning
- arxiv url: http://arxiv.org/abs/2407.12703v4
- Date: Tue, 15 Oct 2024 15:59:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 13:58:29.600322
- Title: Subgraph-Aware Training of Language Models for Knowledge Graph Completion Using Structure-Aware Contrastive Learning
- Title(参考訳): 構造認識コントラスト学習を用いた知識グラフ補完のための言語モデルのサブグラフ認識学習
- Authors: Youmin Ko, Hyemin Yang, Taeuk Kim, Hyunjoon Kim,
- Abstract要約: 微調整事前学習言語モデル(PLM)は、最近知識グラフ補完(KGC)を改善する可能性を示している。
そこで本研究では,KGC(SATKGC)のためのサブグラフ認識学習フレームワークを提案する。 (i)サブグラフ認識のミニバッチ化により,ハードネガティブサンプリングの促進とトレーニング中のエンティティ発生頻度の不均衡を軽減すること,および (ii)知識グラフの構造特性の観点から,よりハードなインバッチ負三重項とハードポジティブ三重項にフォーカスする新たなコントラスト学習を提案する。
- 参考スコア(独自算出の注目度): 4.741342276627672
- License:
- Abstract: Fine-tuning pre-trained language models (PLMs) has recently shown a potential to improve knowledge graph completion (KGC). However, most PLM-based methods focus solely on encoding textual information, neglecting the long-tailed nature of knowledge graphs and their various topological structures, e.g., subgraphs, shortest paths, and degrees. We claim that this is a major obstacle to achieving higher accuracy of PLMs for KGC. To this end, we propose a Subgraph-Aware Training framework for KGC (SATKGC) with two ideas: (i) subgraph-aware mini-batching to encourage hard negative sampling and to mitigate an imbalance in the frequency of entity occurrences during training, and (ii) new contrastive learning to focus more on harder in-batch negative triples and harder positive triples in terms of the structural properties of the knowledge graph. To the best of our knowledge, this is the first study to comprehensively incorporate the structural inductive bias of the knowledge graph into fine-tuning PLMs. Extensive experiments on three KGC benchmarks demonstrate the superiority of SATKGC. Our code is available.
- Abstract(参考訳): 微調整事前学習言語モデル(PLM)は、最近知識グラフ補完(KGC)を改善する可能性を示している。
しかし PLM に基づくほとんどの手法は、知識グラフの長い尾の性質や、その様々なトポロジ構造(例えば、部分グラフ、最短経路、等)を無視して、テキスト情報の符号化にのみ焦点をあてている。
KGCにおけるPLMの高精度化には,これが大きな障害である,と我々は主張する。
そこで本研究では,KGC(SATKGC)のためのサブグラフ・アウェア・トレーニング・フレームワークを提案する。
一 練習中の実体発生頻度の不均衡を緩和し、強硬な陰性サンプリングを促進するための小バッチ
(II) 知識グラフの構造的特性の観点から, より厳密な内負三重項と強正三重項に焦点をあてる新たな対照的な学習。
私たちの知識を最大限に活用するために、知識グラフの構造的帰納バイアスを微調整 PLM に包括的に組み込んだ最初の研究である。
3つのKGCベンチマークの大規模な実験はSATKGCの優位性を示している。
私たちのコードは利用可能です。
関連論文リスト
- Multi-perspective Improvement of Knowledge Graph Completion with Large
Language Models [95.31941227776711]
我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。
我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
論文 参考訳(メタデータ) (2024-03-04T12:16:15Z) - KICGPT: Large Language Model with Knowledge in Context for Knowledge
Graph Completion [27.405080941584533]
本稿では,大規模言語モデルと3次元KGCレトリバーを統合したフレームワークKICGPTを提案する。
追加のトレーニングオーバーヘッドを発生させることなく、長い尾の問題を軽減する。
ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整は行わない。
論文 参考訳(メタデータ) (2024-02-04T08:01:07Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - Graph-level Protein Representation Learning by Structure Knowledge
Refinement [50.775264276189695]
本稿では、教師なしの方法でグラフ全体の表現を学習することに焦点を当てる。
本稿では、データ構造を用いて、ペアが正か負かの確率を決定する構造知識精製(Structure Knowledge Refinement, SKR)という新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-05T09:05:33Z) - Unifying Structure and Language Semantic for Efficient Contrastive
Knowledge Graph Completion with Structured Entity Anchors [0.3913403111891026]
知識グラフ補完(KGC)の目標は、すでに知られている訓練された事実を用いて、KGの欠落したリンクを予測することである。
本稿では,帰納的推論の力を失うことなく,構造情報と言語意味を効果的に統一する手法を提案する。
論文 参考訳(メタデータ) (2023-11-07T11:17:55Z) - Enhancing Text-based Knowledge Graph Completion with Zero-Shot Large Language Models: A Focus on Semantic Enhancement [8.472388165833292]
KGC(CP-KGC)のための制約付きプロンプトというフレームワークを導入する。
このフレームワークは、セマンティック・リッチネスを高めるために、異なるデータセットに適応するプロンプトを設計する。
本研究は,既存のモデルの性能限界を拡張し,KGCと大規模言語モデルとのさらなる統合を促進する。
論文 参考訳(メタデータ) (2023-10-12T12:31:23Z) - MoCoSA: Momentum Contrast for Knowledge Graph Completion with
Structure-Augmented Pre-trained Language Models [11.57782182864771]
構造強化事前学習言語モデル(MoCoSA)を用いた知識グラフ補完のためのMomentum Contrastを提案する。
また,WN18RRでは2.5%,OpenBG500では21%向上した。
論文 参考訳(メタデータ) (2023-08-16T08:09:10Z) - Structural and Statistical Texture Knowledge Distillation for Semantic
Segmentation [72.67912031720358]
セグメンテーションのための構造的・統計的テクスチャ知識蒸留(SSTKD)フレームワークを提案する。
構造的テクスチャ知識のために,低レベルの特徴を分解するContourlet Decomposition Module (CDM)を導入する。
本稿では, 統計的テクスチャ知識を適応的に抽出し, 強化するDenoized Texture Intensity Equalization Module (DTIEM)を提案する。
論文 参考訳(メタデータ) (2023-05-06T06:01:11Z) - Language Models as Knowledge Embeddings [26.384327693266837]
本稿では,言語モデルを用いて知識埋め込みを導出するLMKEを提案する。
我々は、記述に基づくKE学習を対照的な学習フレームワークで定式化し、トレーニングと評価の効率を向上させる。
論文 参考訳(メタデータ) (2022-06-25T10:39:12Z) - Inductive Learning on Commonsense Knowledge Graph Completion [89.72388313527296]
コモンセンス知識グラフ(英: Commonsense Knowledge graph、CKG)は、知識グラフ(英: knowledge graph、CKG)の一種。
本稿では,未確認のエンティティがテスト時に現れるCKG完了のための帰納学習環境について検討する。
InductivEは、ATOMICとConceptNetベンチマークの標準設定とインダクティブ設定の両方において、最先端のベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2020-09-19T16:10:26Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。