論文の概要: Enhancing Text-based Knowledge Graph Completion with Zero-Shot Large Language Models: A Focus on Semantic Enhancement

• arxiv url: http://arxiv.org/abs/2310.08279v3
• Date: Thu, 27 Jun 2024 04:55:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 20:16:23.327158
• Title: Enhancing Text-based Knowledge Graph Completion with Zero-Shot Large Language Models: A Focus on Semantic Enhancement
• Title（参考訳）: ゼロショット大言語モデルによるテキストベース知識グラフ補完の強化:意味的拡張に着目して
• Authors: Rui Yang, Jiahao Zhu, Jianping Man, Li Fang, Yi Zhou,
• Abstract要約: KGC(CP-KGC)のための制約付きプロンプトというフレームワークを導入する。 このフレームワークは、セマンティック・リッチネスを高めるために、異なるデータセットに適応するプロンプトを設計する。 本研究は,既存のモデルの性能限界を拡張し,KGCと大規模言語モデルとのさらなる統合を促進する。
• 参考スコア（独自算出の注目度）: 8.472388165833292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The design and development of text-based knowledge graph completion (KGC) methods leveraging textual entity descriptions are at the forefront of research. These methods involve advanced optimization techniques such as soft prompts and contrastive learning to enhance KGC models. The effectiveness of text-based methods largely hinges on the quality and richness of the training data. Large language models (LLMs) can utilize straightforward prompts to alter text data, thereby enabling data augmentation for KGC. Nevertheless, LLMs typically demand substantial computational resources. To address these issues, we introduce a framework termed constrained prompts for KGC (CP-KGC). This CP-KGC framework designs prompts that adapt to different datasets to enhance semantic richness. Additionally, CP-KGC employs a context constraint strategy to effectively identify polysemous entities within KGC datasets. Through extensive experimentation, we have verified the effectiveness of this framework. Even after quantization, the LLM (Qwen-7B-Chat-int4) still enhances the performance of text-based KGC methods \footnote{Code and datasets are available at \href{https://github.com/sjlmg/CP-KGC}{https://github.com/sjlmg/CP-KGC}}. This study extends the performance limits of existing models and promotes further integration of KGC with LLMs.
• Abstract（参考訳）: テキストエンティティ記述を利用したテキストベースの知識グラフ補完(KGC)手法の設計と開発が研究の最前線にある。 これらの手法は、KGCモデルを強化するためのソフトプロンプトやコントラスト学習のような高度な最適化技術を含んでいる。 テキストベースの手法の有効性は、トレーニングデータの質と豊かさに大きく左右される。 大規模言語モデル(LLM)はテキストデータの変更に簡単なプロンプトを利用できるため、KGCのデータ拡張が可能である。 それにもかかわらず、LLMは典型的にかなりの計算資源を必要とする。 これらの問題に対処するために、KGC(CP-KGC)のための制約付きプロンプトと呼ばれるフレームワークを導入する。 このCP-KGCフレームワークは、セマンティック・リッチネスを高めるために異なるデータセットに適応するプロンプトを設計する。 さらに、CP-KGCはコンテキスト制約戦略を用いて、KGCデータセット内の多文エンティティを効果的に識別する。 大規模な実験を通じて,本フレームワークの有効性を検証した。 量子化後も LLM (Qwen-7B-Chat-int4) はテキストベースの KGC メソッドである \footnote{Code のパフォーマンスを引き続き向上させ、データセットは \href{https://github.com/sjlmg/CP-KGC}{https://github.com/sjlmg/CP-KGC}{https://github.com/sjlmg/CP-KGC}} で入手できる。 本研究は,既存のモデルの性能限界を拡張し,KGCとLLMのさらなる統合を促進する。

関連論文リスト

• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Subgraph-Aware Training of Text-based Methods for Knowledge Graph Completion [4.741342276627672]
  微調整事前学習言語モデル(PLM)は、最近知識グラフ補完(KGC)を改善する可能性を示している。 我々は, (i) サブグラフ認識のミニバッチを併用して, (ii) ハードネガティブサンプリングを促進するためのサブグラフ認識学習フレームワークKGC(SATKGC) と, (ii) ハードエンティティとハードネガティブトリプルにもっと焦点を合わせるための新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-17T16:25:37Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• Hierarchical Compression of Text-Rich Graphs via Large Language Models [63.75293588479027]
  テキストリッチグラフは、eコマースや学術グラフのようなデータマイニングの文脈で広く使われている。 本稿では,LLMの能力とテキストリッチグラフの構造を整合させる新しい手法であるHiComを紹介する。 HiComは、Eコマースと引用グラフのノード分類において、GNNとLLMのバックボーンよりも優れている。
  論文  参考訳（メタデータ） (2024-06-13T07:24:46Z)
• Text clustering with LLM embeddings [0.0]
  テキストの埋め込みとクラスタリングアルゴリズムの違いが、テキストデータセットのクラスタリングに与える影響について検討する。 LLMの埋め込みは構造化言語の微妙さを捉えるのに優れており、BERTはパフォーマンスの軽量なオプションをリードしている。
  論文  参考訳（メタデータ） (2024-03-22T11:08:48Z)
• Multi-perspective Improvement of Knowledge Graph Completion with Large Language Models [95.31941227776711]
  我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。 我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
  論文  参考訳（メタデータ） (2024-03-04T12:16:15Z)
• KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion [27.405080941584533]
  本稿では,大規模言語モデルと3次元KGCレトリバーを統合したフレームワークKICGPTを提案する。 追加のトレーニングオーバーヘッドを発生させることなく、長い尾の問題を軽減する。 ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整は行わない。
  論文  参考訳（メタデータ） (2024-02-04T08:01:07Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Prompting Disentangled Embeddings for Knowledge Graph Completion with Pre-trained Language Model [38.00241874974804]
  グラフ構造とテキスト情報の両方が知識グラフ補完(KGC)において重要な役割を果たす 本稿では, PDKGCと呼ばれる新しいKGC手法を提案し, ハードタスクプロンプトとアンタングル構造プロンプトの2つのプロンプトを提案する。 2つのプロンプトにより、PDKGCはテキスト予測器と構造予測器をそれぞれ構築し、それらの組み合わせはより包括的なエンティティ予測をもたらす。
  論文  参考訳（メタデータ） (2023-12-04T12:20:25Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。