論文の概要: Enhancing Text-based Knowledge Graph Completion with Zero-Shot Large Language Models: A Focus on Semantic Enhancement
- arxiv url: http://arxiv.org/abs/2310.08279v3
- Date: Thu, 27 Jun 2024 04:55:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-28 20:16:23.327158
- Title: Enhancing Text-based Knowledge Graph Completion with Zero-Shot Large Language Models: A Focus on Semantic Enhancement
- Title（参考訳）: ゼロショット大言語モデルによるテキストベース知識グラフ補完の強化:意味的拡張に着目して
- Authors: Rui Yang, Jiahao Zhu, Jianping Man, Li Fang, Yi Zhou,
- Abstract要約: KGC(CP-KGC)のための制約付きプロンプトというフレームワークを導入する。
このフレームワークは、セマンティック・リッチネスを高めるために、異なるデータセットに適応するプロンプトを設計する。
本研究は,既存のモデルの性能限界を拡張し,KGCと大規模言語モデルとのさらなる統合を促進する。
- 参考スコア（独自算出の注目度）: 8.472388165833292
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The design and development of text-based knowledge graph completion (KGC) methods leveraging textual entity descriptions are at the forefront of research. These methods involve advanced optimization techniques such as soft prompts and contrastive learning to enhance KGC models. The effectiveness of text-based methods largely hinges on the quality and richness of the training data. Large language models (LLMs) can utilize straightforward prompts to alter text data, thereby enabling data augmentation for KGC. Nevertheless, LLMs typically demand substantial computational resources. To address these issues, we introduce a framework termed constrained prompts for KGC (CP-KGC). This CP-KGC framework designs prompts that adapt to different datasets to enhance semantic richness. Additionally, CP-KGC employs a context constraint strategy to effectively identify polysemous entities within KGC datasets. Through extensive experimentation, we have verified the effectiveness of this framework. Even after quantization, the LLM (Qwen-7B-Chat-int4) still enhances the performance of text-based KGC methods \footnote{Code and datasets are available at \href{https://github.com/sjlmg/CP-KGC}{https://github.com/sjlmg/CP-KGC}}. This study extends the performance limits of existing models and promotes further integration of KGC with LLMs.
- Abstract（参考訳）: テキストエンティティ記述を利用したテキストベースの知識グラフ補完(KGC)手法の設計と開発が研究の最前線にある。
これらの手法は、KGCモデルを強化するためのソフトプロンプトやコントラスト学習のような高度な最適化技術を含んでいる。
テキストベースの手法の有効性は、トレーニングデータの質と豊かさに大きく左右される。
大規模言語モデル(LLM)はテキストデータの変更に簡単なプロンプトを利用できるため、KGCのデータ拡張が可能である。
それにもかかわらず、LLMは典型的にかなりの計算資源を必要とする。
これらの問題に対処するために、KGC(CP-KGC)のための制約付きプロンプトと呼ばれるフレームワークを導入する。
このCP-KGCフレームワークは、セマンティック・リッチネスを高めるために異なるデータセットに適応するプロンプトを設計する。
さらに、CP-KGCはコンテキスト制約戦略を用いて、KGCデータセット内の多文エンティティを効果的に識別する。
大規模な実験を通じて,本フレームワークの有効性を検証した。
量子化後も LLM (Qwen-7B-Chat-int4) はテキストベースの KGC メソッドである \footnote{Code のパフォーマンスを引き続き向上させ、データセットは \href{https://github.com/sjlmg/CP-KGC}{https://github.com/sjlmg/CP-KGC}{https://github.com/sjlmg/CP-KGC}} で入手できる。
本研究は,既存のモデルの性能限界を拡張し,KGCとLLMのさらなる統合を促進する。
関連論文リスト
- Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。
我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。
様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-10-24T04:01:40Z) - Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。
KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
論文 参考訳（メタデータ） (2024-06-20T13:07:38Z) - Leveraging Large Language Models for Semantic Query Processing in a Scholarly Knowledge Graph [1.7418328181959968]
本研究は,革新的なセマンティッククエリ処理システムを開発することを目的としている。
オーストラリア国立大学のコンピュータサイエンス(CS)研究者による研究成果に関する総合的な情報を得ることができる。
論文 参考訳（メタデータ） (2024-05-24T09:19:45Z) - CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。
最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。
CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文 参考訳（メタデータ） (2024-05-17T07:43:25Z) - Multi-perspective Improvement of Knowledge Graph Completion with Large
Language Models [95.31941227776711]
我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。
我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
論文 参考訳（メタデータ） (2024-03-04T12:16:15Z) - KICGPT: Large Language Model with Knowledge in Context for Knowledge
Graph Completion [27.405080941584533]
本稿では,大規模言語モデルと3次元KGCレトリバーを統合したフレームワークKICGPTを提案する。
追加のトレーニングオーバーヘッドを発生させることなく、長い尾の問題を軽減する。
ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整は行わない。
論文 参考訳（メタデータ） (2024-02-04T08:01:07Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳（メタデータ） (2024-01-28T08:56:49Z) - Prompting Disentangled Embeddings for Knowledge Graph Completion with
Pre-trained Language Model [38.00241874974804]
グラフ構造とテキスト情報の両方が知識グラフ補完(KGC)において重要な役割を果たす
本稿では, PDKGCと呼ばれる新しいKGC手法を提案し, ハードタスクプロンプトとアンタングル構造プロンプトの2つのプロンプトを提案する。
2つのプロンプトにより、PDKGCはテキスト予測器と構造予測器をそれぞれ構築し、それらの組み合わせはより包括的なエンティティ予測をもたらす。
論文 参考訳（メタデータ） (2023-12-04T12:20:25Z) - Unifying Structure and Language Semantic for Efficient Contrastive
Knowledge Graph Completion with Structured Entity Anchors [0.3913403111891026]
知識グラフ補完(KGC)の目標は、すでに知られている訓練された事実を用いて、KGの欠落したリンクを予測することである。
本稿では,帰納的推論の力を失うことなく,構造情報と言語意味を効果的に統一する手法を提案する。
論文 参考訳（メタデータ） (2023-11-07T11:17:55Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳（メタデータ） (2023-05-31T03:18:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。