論文の概要: Prompting Disentangled Embeddings for Knowledge Graph Completion with Pre-trained Language Model

• arxiv url: http://arxiv.org/abs/2312.01837v1
• Date: Mon, 4 Dec 2023 12:20:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 15:13:56.672385
• Title: Prompting Disentangled Embeddings for Knowledge Graph Completion with Pre-trained Language Model
• Title（参考訳）: 事前学習型言語モデルを用いた知識グラフ補完のためのアンタングル型埋め込みの提案
• Authors: Yuxia Geng, Jiaoyan Chen, Yuhang Zeng, Zhuo Chen, Wen Zhang, Jeff Z. Pan, Yuxiang Wang, Xiaoliang Xu
• Abstract要約: グラフ構造とテキスト情報の両方が知識グラフ補完(KGC)において重要な役割を果たす 本稿では, PDKGCと呼ばれる新しいKGC手法を提案し, ハードタスクプロンプトとアンタングル構造プロンプトの2つのプロンプトを提案する。 2つのプロンプトにより、PDKGCはテキスト予測器と構造予測器をそれぞれ構築し、それらの組み合わせはより包括的なエンティティ予測をもたらす。
• 参考スコア（独自算出の注目度）: 38.00241874974804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Both graph structures and textual information play a critical role in Knowledge Graph Completion (KGC). With the success of Pre-trained Language Models (PLMs) such as BERT, they have been applied for text encoding for KGC. However, the current methods mostly prefer to fine-tune PLMs, leading to huge training costs and limited scalability to larger PLMs. In contrast, we propose to utilize prompts and perform KGC on a frozen PLM with only the prompts trained. Accordingly, we propose a new KGC method named PDKGC with two prompts -- a hard task prompt which is to adapt the KGC task to the PLM pre-training task of token prediction, and a disentangled structure prompt which learns disentangled graph representation so as to enable the PLM to combine more relevant structure knowledge with the text information. With the two prompts, PDKGC builds a textual predictor and a structural predictor, respectively, and their combination leads to more comprehensive entity prediction. Solid evaluation on two widely used KGC datasets has shown that PDKGC often outperforms the baselines including the state-of-the-art, and its components are all effective. Our codes and data are available at https://github.com/genggengcss/PDKGC.
• Abstract（参考訳）: グラフ構造とテキスト情報の両方が知識グラフ補完(KGC)において重要な役割を果たす。 BERTのようなプレトレーニング言語モデル(PLM)の成功により、KGCのテキストエンコーディングに応用されている。 しかし、現在の手法は主に微調整 PLM を好んでおり、訓練コストが大きく、より大きな PLM に対してスケーラビリティが制限されている。 対照的に,プロンプトを活用し,プロンプトのみをトレーニングして冷凍plm上でkgcを行う方法を提案する。 そこで本研究では,PDKGC と呼ばれる新しい KGC 手法を提案する。トークン予測の PLM 事前学習タスクに KGC タスクを適応させるハードタスクプロンプトと,PLM がより関連性の高い構造知識をテキスト情報と組み合わせられるように,不整合グラフ表現を学習するアンタングル構造プロンプトである。 2つのプロンプトにより、PDKGCはテキスト予測器と構造予測器をそれぞれ構築し、それらの組み合わせはより包括的なエンティティ予測をもたらす。 広く使われている2つのKGCデータセットの確固たる評価は、PDKGCが最先端を含むベースラインよりも優れており、そのコンポーネントはすべて効果的であることを示している。 私たちのコードとデータはhttps://github.com/genggengcss/pdkgcで入手できます。

関連論文リスト

• Multi-perspective Improvement of Knowledge Graph Completion with Large Language Models [95.31941227776711]
  我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。 我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
  論文  参考訳（メタデータ） (2024-03-04T12:16:15Z)
• KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion [27.405080941584533]
  本稿では,大規模言語モデルと3次元KGCレトリバーを統合したフレームワークKICGPTを提案する。 追加のトレーニングオーバーヘッドを発生させることなく、長い尾の問題を軽減する。 ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整は行わない。
  論文  参考訳（メタデータ） (2024-02-04T08:01:07Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Does Pre-trained Language Model Actually Infer Unseen Links in Knowledge Graph Completion? [32.645448509968226]
  知識グラフ(KG)は、エンティティ間の関係を記述するリンクである。 知識グラフ補完(英: Knowledge Graph Completion、KGC)は、KG内のエンティティ間の見えない関係を推論するタスクである。 RESCALのような従来の埋め込みベースのKGCメソッドは、トレーニングデータからの知識のみを使用して、欠落したリンクを推測する。 最近のプレトレーニング言語モデル(PLM)に基づくKGCは、事前トレーニング中に得られた知識を利用する。
  論文  参考訳（メタデータ） (2023-11-15T16:56:49Z)
• Enhancing Text-based Knowledge Graph Completion with Zero-Shot Large Language Models: A Focus on Semantic Enhancement [8.472388165833292]
  KGC(CP-KGC)のための制約付きプロンプトというフレームワークを導入する。 このフレームワークは、セマンティック・リッチネスを高めるために、異なるデータセットに適応するプロンプトを設計する。 本研究は,既存のモデルの性能限界を拡張し,KGCと大規模言語モデルとのさらなる統合を促進する。
  論文  参考訳（メタデータ） (2023-10-12T12:31:23Z)
• Dipping PLMs Sauce: Bridging Structure and Text for Effective Knowledge Graph Completion via Conditional Soft Prompting [35.79478289974962]
  本稿では,構造情報とテキスト知識のバランスを保つCSProm-KG(Conditional Soft Prompts for KGC)を提案する。 WN18RR, FB15K-237, Wikidata5Mの3つの静的KGCベンチマークとICEWS14, ICEWS05-15におけるCSProm-KGの有効性を検証する。
  論文  参考訳（メタデータ） (2023-07-04T13:24:04Z)
• Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
  DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。 我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
  論文  参考訳（メタデータ） (2022-10-17T18:02:52Z)
• Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
  視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。 事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
  論文  参考訳（メタデータ） (2022-05-23T07:51:15Z)
• Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base [51.55027623439027]
  我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。 最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
  論文  参考訳（メタデータ） (2022-04-17T12:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。