論文の概要: KICGPT: Large Language Model with Knowledge in Context for Knowledge
Graph Completion
- arxiv url: http://arxiv.org/abs/2402.02389v2
- Date: Fri, 23 Feb 2024 09:01:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 17:18:10.898006
- Title: KICGPT: Large Language Model with Knowledge in Context for Knowledge
Graph Completion
- Title(参考訳): KICGPT:知識グラフ補完のための文脈における知識付き大規模言語モデル
- Authors: Yanbin Wei, Qiushi Huang, James T. Kwok, Yu Zhang
- Abstract要約: 本稿では,大規模言語モデルと3次元KGCレトリバーを統合したフレームワークKICGPTを提案する。
追加のトレーニングオーバーヘッドを発生させることなく、長い尾の問題を軽減する。
ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整は行わない。
- 参考スコア(独自算出の注目度): 27.405080941584533
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge Graph Completion (KGC) is crucial for addressing knowledge graph
incompleteness and supporting downstream applications. Many models have been
proposed for KGC. They can be categorized into two main classes: triple-based
and text-based approaches. Triple-based methods struggle with long-tail
entities due to limited structural information and imbalanced entity
distributions. Text-based methods alleviate this issue but require costly
training for language models and specific finetuning for knowledge graphs,
which limits their efficiency. To alleviate these limitations, in this paper,
we propose KICGPT, a framework that integrates a large language model (LLM) and
a triple-based KGC retriever. It alleviates the long-tail problem without
incurring additional training overhead. KICGPT uses an in-context learning
strategy called Knowledge Prompt, which encodes structural knowledge into
demonstrations to guide the LLM. Empirical results on benchmark datasets
demonstrate the effectiveness of KICGPT with smaller training overhead and no
finetuning.
- Abstract(参考訳): 知識グラフ補完(KGC)は、知識グラフの不完全性と下流アプリケーションのサポートに不可欠である。
KGC向けに多くのモデルが提案されている。
それらは、トリプルベースとテキストベースという2つの主要なクラスに分類できる。
トリプルベースの手法は、構造情報と不均衡なエンティティ分布のため、ロングテールエンティティに苦しむ。
テキストベースの手法はこの問題を軽減するが、言語モデルのコストのかかるトレーニングと、その効率を制限した知識グラフの特定の微調整が必要である。
本稿では,これらの制約を緩和するために,大規模言語モデル(LLM)と3次元KGCレトリバーを統合したKICGPTを提案する。
追加のトレーニングオーバーヘッドを伴わずに、ロングテール問題を軽減する。
KICGPTはKnowledge Promptと呼ばれるコンテキスト内学習戦略を使用しており、LLMを導くために構造的知識をデモにエンコードする。
ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整はない。
関連論文リスト
- Knowledge Graph Large Language Model (KG-LLM) for Link Prediction [39.4203349659232]
本稿では,知識グラフにおけるマルチホップリンク予測を強化するために,知識グラフ大言語モデルフレームワーク(KG-LLM)を提案する。
知識グラフをチェーン・オブ・シークレットのプロンプトに変換することで、我々のフレームワークは、エンティティの潜在表現とその相互関係を識別し、学習するように設計されている。
論文 参考訳(メタデータ) (2024-03-12T04:47:29Z) - Multi-perspective Improvement of Knowledge Graph Completion with Large
Language Models [95.31941227776711]
我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。
我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
論文 参考訳(メタデータ) (2024-03-04T12:16:15Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - MoCoSA: Momentum Contrast for Knowledge Graph Completion with
Structure-Augmented Pre-trained Language Models [11.57782182864771]
構造強化事前学習言語モデル(MoCoSA)を用いた知識グラフ補完のためのMomentum Contrastを提案する。
また,WN18RRでは2.5%,OpenBG500では21%向上した。
論文 参考訳(メタデータ) (2023-08-16T08:09:10Z) - Joint Language Semantic and Structure Embedding for Knowledge Graph
Completion [66.15933600765835]
本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。
本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。
各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
論文 参考訳(メタデータ) (2022-09-19T02:41:02Z) - VEM$^2$L: A Plug-and-play Framework for Fusing Text and Structure
Knowledge on Sparse Knowledge Graph Completion [14.537509860565706]
本稿では,テキストから抽出した知識と構造化メッセージから抽出した知識を統一化するための,スパース知識グラフ上のプラグイン・アンド・プレイ・フレームワーク VEM2L を提案する。
具体的には、モデルによって得られた知識を2つの非重複部分に分割する。
また、モデルの一般化能力を融合させるために、変分EMアルゴリズムによって証明された新しい融合戦略を提案する。
論文 参考訳(メタデータ) (2022-07-04T15:50:21Z) - Language Models as Knowledge Embeddings [26.384327693266837]
本稿では,言語モデルを用いて知識埋め込みを導出するLMKEを提案する。
我々は、記述に基づくKE学習を対照的な学習フレームワークで定式化し、トレーニングと評価の効率を向上させる。
論文 参考訳(メタデータ) (2022-06-25T10:39:12Z) - Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。
抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
論文 参考訳(メタデータ) (2021-09-10T07:20:43Z) - ENT-DESC: Entity Description Generation by Exploring Knowledge Graph [53.03778194567752]
実際には、出力記述が最も重要な知識のみをカバーするため、入力知識は十分以上である可能性がある。
我々は、KG-to-textにおけるこのような実践的なシナリオの研究を容易にするために、大規模で挑戦的なデータセットを導入する。
本稿では,元のグラフ情報をより包括的に表現できるマルチグラフ構造を提案する。
論文 参考訳(メタデータ) (2020-04-30T14:16:19Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。