論文の概要: KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2402.02389v2
• Date: Fri, 23 Feb 2024 09:01:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 17:18:10.898006
• Title: KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion
• Title（参考訳）: KICGPT:知識グラフ補完のための文脈における知識付き大規模言語モデル
• Authors: Yanbin Wei, Qiushi Huang, James T. Kwok, Yu Zhang
• Abstract要約: 本稿では,大規模言語モデルと3次元KGCレトリバーを統合したフレームワークKICGPTを提案する。 追加のトレーニングオーバーヘッドを発生させることなく、長い尾の問題を軽減する。 ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整は行わない。
• 参考スコア（独自算出の注目度）: 27.405080941584533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Graph Completion (KGC) is crucial for addressing knowledge graph incompleteness and supporting downstream applications. Many models have been proposed for KGC. They can be categorized into two main classes: triple-based and text-based approaches. Triple-based methods struggle with long-tail entities due to limited structural information and imbalanced entity distributions. Text-based methods alleviate this issue but require costly training for language models and specific finetuning for knowledge graphs, which limits their efficiency. To alleviate these limitations, in this paper, we propose KICGPT, a framework that integrates a large language model (LLM) and a triple-based KGC retriever. It alleviates the long-tail problem without incurring additional training overhead. KICGPT uses an in-context learning strategy called Knowledge Prompt, which encodes structural knowledge into demonstrations to guide the LLM. Empirical results on benchmark datasets demonstrate the effectiveness of KICGPT with smaller training overhead and no finetuning.
• Abstract（参考訳）: 知識グラフ補完(KGC)は、知識グラフの不完全性と下流アプリケーションのサポートに不可欠である。 KGC向けに多くのモデルが提案されている。 それらは、トリプルベースとテキストベースという2つの主要なクラスに分類できる。 トリプルベースの手法は、構造情報と不均衡なエンティティ分布のため、ロングテールエンティティに苦しむ。 テキストベースの手法はこの問題を軽減するが、言語モデルのコストのかかるトレーニングと、その効率を制限した知識グラフの特定の微調整が必要である。 本稿では,これらの制約を緩和するために,大規模言語モデル(LLM)と3次元KGCレトリバーを統合したKICGPTを提案する。 追加のトレーニングオーバーヘッドを伴わずに、ロングテール問題を軽減する。 KICGPTはKnowledge Promptと呼ばれるコンテキスト内学習戦略を使用しており、LLMを導くために構造的知識をデモにエンコードする。 ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整はない。

関連論文リスト

• iText2KG: Incremental Knowledge Graphs Construction Using Large Language Models [0.7165255458140439]
  iText2KGは、後処理なしで漸進的にトピックに依存しない知識グラフを構築する方法である。 提案手法は,3つのシナリオにまたがるベースライン手法と比較して,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-05T06:49:14Z)
• Subgraph-Aware Training of Language Models for Knowledge Graph Completion Using Structure-Aware Contrastive Learning [4.741342276627672]
  微調整事前学習言語モデル(PLM)は、最近知識グラフ補完(KGC)を改善する可能性を示している。 そこで本研究では,KGC(SATKGC)のためのサブグラフ認識学習フレームワークを提案する。 (i)サブグラフ認識のミニバッチ化により,ハードネガティブサンプリングの促進とトレーニング中のエンティティ発生頻度の不均衡を軽減すること,および (ii)知識グラフの構造特性の観点から,よりハードなインバッチ負三重項とハードポジティブ三重項にフォーカスする新たなコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2024-07-17T16:25:37Z)
• A Knowledge-Injected Curriculum Pretraining Framework for Question Answering [70.13026036388794]
  本稿では,知識に基づく質問応答タスクの総合的なKG学習と活用を実現するための一般知識注入型カリキュラム事前学習フレームワーク(KICP)を提案する。 KIモジュールはまずKG中心の事前学習コーパスを生成してLMに知識を注入し、プロセスを3つの重要なステップに一般化する。 KAモジュールは、アダプタを備えたLMで生成されたコーパスから知識を学習し、元の自然言語理解能力を維持できる。 CRモジュールは人間の推論パターンに従って3つのコーパスを構築する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:03Z)
• Multi-perspective Improvement of Knowledge Graph Completion with Large Language Models [95.31941227776711]
  我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。 我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
  論文  参考訳（メタデータ） (2024-03-04T12:16:15Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Enhancing Text-based Knowledge Graph Completion with Zero-Shot Large Language Models: A Focus on Semantic Enhancement [8.472388165833292]
  KGC(CP-KGC)のための制約付きプロンプトというフレームワークを導入する。 このフレームワークは、セマンティック・リッチネスを高めるために、異なるデータセットに適応するプロンプトを設計する。 本研究は,既存のモデルの性能限界を拡張し,KGCと大規模言語モデルとのさらなる統合を促進する。
  論文  参考訳（メタデータ） (2023-10-12T12:31:23Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• Language Models as Knowledge Embeddings [26.384327693266837]
  本稿では,言語モデルを用いて知識埋め込みを導出するLMKEを提案する。 我々は、記述に基づくKE学習を対照的な学習フレームワークで定式化し、トレーニングと評価の効率を向上させる。
  論文  参考訳（メタデータ） (2022-06-25T10:39:12Z)
• ENT-DESC: Entity Description Generation by Exploring Knowledge Graph [53.03778194567752]
  実際には、出力記述が最も重要な知識のみをカバーするため、入力知識は十分以上である可能性がある。 我々は、KG-to-textにおけるこのような実践的なシナリオの研究を容易にするために、大規模で挑戦的なデータセットを導入する。 本稿では,元のグラフ情報をより包括的に表現できるマルチグラフ構造を提案する。
  論文  参考訳（メタデータ） (2020-04-30T14:16:19Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。