論文の概要: Subgraph-Aware Training of Text-based Methods for Knowledge Graph Completion
- arxiv url: http://arxiv.org/abs/2407.12703v3
- Date: Tue, 23 Jul 2024 06:26:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 12:19:26.389986
- Title: Subgraph-Aware Training of Text-based Methods for Knowledge Graph Completion
- Title（参考訳）: 知識グラフ補完のためのテキストベース手法のテキスト認識学習
- Authors: Youmin Ko, Hyemin Yang, Taeuk Kim, Hyunjoon Kim,
- Abstract要約: 微調整事前学習言語モデル(PLM)は、最近知識グラフ補完(KGC)を改善する可能性を示している。
我々は, (i) サブグラフ認識のミニバッチを併用して, (ii) ハードネガティブサンプリングを促進するためのサブグラフ認識学習フレームワークKGC(SATKGC) と, (ii) ハードエンティティとハードネガティブトリプルにもっと焦点を合わせるための新しいコントラスト学習手法を提案する。
- 参考スコア（独自算出の注目度）: 4.741342276627672
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning pre-trained language models (PLMs) has recently shown a potential to improve knowledge graph completion (KGC). However, most PLM-based methods encode only textual information, neglecting various topological structures of knowledge graphs (KGs). In this paper, we empirically validate the significant relations between the structural properties of KGs and the performance of the PLM-based methods. To leverage the structural knowledge, we propose a Subgraph-Aware Training framework for KGC (SATKGC) that combines (i) subgraph-aware mini-batching to encourage hard negative sampling, and (ii) a new contrastive learning method to focus more on harder entities and harder negative triples in terms of the structural properties. To the best of our knowledge, this is the first study to comprehensively incorporate the structural inductive bias of the subgraphs into fine-tuning PLMs. Extensive experiments on four KGC benchmarks demonstrate the superiority of SATKGC. Our code is available.
- Abstract（参考訳）: 微調整事前学習言語モデル(PLM)は、最近知識グラフ補完(KGC)を改善する可能性を示している。
しかし、ほとんどの PLM ベースの手法は、知識グラフ(KG)の様々なトポロジ構造を無視して、テキスト情報のみを符号化する。
本稿では,KGsの構造特性とPLM法の性能との有意な関係を実証的に検証する。
構造的知識を活用するために,KGC(SATKGC)のためのサブグラフ・アウェア・トレーニング・フレームワークを提案する。
一 ハードネガティブサンプリングを奨励するサブグラフ対応ミニバッチ、及び
(II) 構造的特性の観点から, より強固な実体と強硬な負の三重項に焦点をあてる新しいコントラスト学習法。
我々の知る限りでは、この研究は、サブグラフの構造的帰納バイアスを微調整 PLM に包括的に組み込む最初の研究である。
4つのKGCベンチマークの大規模な実験はSATKGCの優位性を示している。
私たちのコードは利用可能です。
関連論文リスト
- Affinity-Graph-Guided Contractive Learning for Pretext-Free Medical Image Segmentation with Minimal Annotation [55.325956390997]
本稿では,医用画像セグメンテーションのための親和性グラフ誘導半教師付きコントラスト学習フレームワーク(Semi-AGCL)を提案する。
このフレームワークは、まず、ロバストな初期特徴空間を提供する平均パッチエントロピー駆動のパッチ間サンプリング法を設計する。
完全アノテーションセットの10%に過ぎず, 完全注釈付きベースラインの精度にアプローチし, 限界偏差は2.52%に過ぎなかった。
論文 参考訳（メタデータ） (2024-10-14T10:44:47Z) - Multi-perspective Improvement of Knowledge Graph Completion with Large
Language Models [95.31941227776711]
我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。
我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
論文 参考訳（メタデータ） (2024-03-04T12:16:15Z) - KICGPT: Large Language Model with Knowledge in Context for Knowledge
Graph Completion [27.405080941584533]
本稿では,大規模言語モデルと3次元KGCレトリバーを統合したフレームワークKICGPTを提案する。
追加のトレーニングオーバーヘッドを発生させることなく、長い尾の問題を軽減する。
ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整は行わない。
論文 参考訳（メタデータ） (2024-02-04T08:01:07Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳（メタデータ） (2024-01-28T08:56:49Z) - MoCoSA: Momentum Contrast for Knowledge Graph Completion with
Structure-Augmented Pre-trained Language Models [11.57782182864771]
構造強化事前学習言語モデル(MoCoSA)を用いた知識グラフ補完のためのMomentum Contrastを提案する。
また,WN18RRでは2.5%,OpenBG500では21%向上した。
論文 参考訳（メタデータ） (2023-08-16T08:09:10Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳（メタデータ） (2023-08-03T07:00:04Z) - Few-Shot Inductive Learning on Temporal Knowledge Graphs using
Concept-Aware Information [31.10140298420744]
時間的知識グラフ(TKG)のための数発のアウト・オブ・グラフ(OOG)リンク予測タスクを提案する。
メタラーニングフレームワークを用いて、未知のエンティティに関するリンクから、欠落したエンティティを予測する。
我々のモデルは3つのデータセットすべてにおいて優れた性能を達成する。
論文 参考訳（メタデータ） (2022-11-15T14:23:07Z) - Knowledge Graph Completion with Pre-trained Multimodal Transformer and
Twins Negative Sampling [13.016173217017597]
本稿では,VBKGC(VisualBERT-enhanced Knowledge Graph Completion Model)を提案する。
VBKGCは、エンティティの深く融合したマルチモーダル情報をキャプチャし、それらをKGCモデルに統合することができる。
リンク予測タスクにおいて,VBKGCの優れた性能を示すため,広範囲な実験を行った。
論文 参考訳（メタデータ） (2022-09-15T06:50:31Z) - KRACL: Contrastive Learning with Graph Context Modeling for Sparse
Knowledge Graph Completion [37.92814873958519]
知識グラフ埋め込み (KGE) は、エンティティと関係を低次元空間にマッピングすることを目的としており、知識グラフ補完のためのテキストファクト標準となっている。
既存のKGE手法の多くは、知識グラフの頻度が低いエンティティを予測しにくいため、スパーシティの課題に悩まされている。
グラフコンテキストとコントラスト学習を用いて,KGの広がりを緩和する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2022-08-16T09:17:40Z) - GraphMAE: Self-Supervised Masked Graph Autoencoders [52.06140191214428]
本稿では,自己教師付きグラフ学習における課題を軽減するマスク付きグラフオートエンコーダGraphMAEを提案する。
我々は3つの異なるグラフ学習タスクに対して、21の公開データセットに関する広範な実験を行った。
その結果,GraphMAEはグラフオートエンコーダであり,設計に注意を払っている。
論文 参考訳（メタデータ） (2022-05-22T11:57:08Z) - Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
グラフ組み込み数ショット学習に関する包括的な研究を紹介します。
本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。
提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
論文 参考訳（メタデータ） (2021-02-14T05:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。