論文の概要: Knowledge Graph Large Language Model (KG-LLM) for Link Prediction
- arxiv url: http://arxiv.org/abs/2403.07311v2
- Date: Wed, 13 Mar 2024 23:44:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-16 01:01:27.421065
- Title: Knowledge Graph Large Language Model (KG-LLM) for Link Prediction
- Title(参考訳): リンク予測のための知識グラフ大言語モデル(KG-LLM)
- Authors: Dong Shu, Tianle Chen, Mingyu Jin, Yiting Zhang, Mengnan Du, Yongfeng Zhang,
- Abstract要約: 本稿では,知識グラフにおけるマルチホップリンク予測を強化するために,知識グラフ大言語モデルフレームワーク(KG-LLM)を提案する。
知識グラフをチェーン・オブ・シークレットのプロンプトに変換することで、我々のフレームワークは、エンティティの潜在表現とその相互関係を識別し、学習するように設計されている。
- 参考スコア(独自算出の注目度): 39.4203349659232
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The task of predicting multiple links within knowledge graphs (KGs) stands as a challenge in the field of knowledge graph analysis, a challenge increasingly resolvable due to advancements in natural language processing (NLP) and KG embedding techniques. This paper introduces a novel methodology, the Knowledge Graph Large Language Model Framework (KG-LLM), which leverages pivotal NLP paradigms, including chain-of-thought (CoT) prompting and in-context learning (ICL), to enhance multi-hop link prediction in KGs. By converting the KG to a CoT prompt, our framework is designed to discern and learn the latent representations of entities and their interrelations. To show the efficacy of the KG-LLM Framework, we fine-tune three leading Large Language Models (LLMs) within this framework, employing both non-ICL and ICL tasks for a comprehensive evaluation. Further, we explore the framework's potential to provide LLMs with zero-shot capabilities for handling previously unseen prompts. Our experimental findings discover that integrating ICL and CoT not only augments the performance of our approach but also significantly boosts the models' generalization capacity, thereby ensuring more precise predictions in unfamiliar scenarios.
- Abstract(参考訳): 知識グラフ(KG)内の複数のリンクを予測するタスクは、知識グラフ解析の分野における課題であり、自然言語処理(NLP)やKG埋め込み技術の進歩により、ますます解決しやすくなっている。
本稿では,知識グラフ大言語モデルフレームワーク(KG-LLM)を提案する。このフレームワークは,KGにおけるマルチホップリンク予測を強化するために,チェーン・オブ・シンクレット(CoT)やインコンテキスト学習(ICL)など,重要なNLPパラダイムを活用する。
KGをCoTプロンプトに変換することで、我々のフレームワークはエンティティの潜在表現とその相互関係を識別し、学習するように設計されている。
KG-LLM フレームワークの有効性を示すため,本フレームワークでは,ICL と ICL の2つのタスクを総合的な評価に用い,主要な3つのLarge Language Model (LLM) を微調整する。
さらに、これまで見つからなかったプロンプトを扱うため、ゼロショット機能を備えたLLMを提供するフレームワークの可能性についても検討する。
実験の結果,ICLとCoTの統合はアプローチの性能を向上するだけでなく,モデルの一般化能力を大幅に向上させ,不慣れなシナリオにおけるより正確な予測を可能にすることがわかった。
関連論文リスト
- Multi-perspective Improvement of Knowledge Graph Completion with Large
Language Models [95.31941227776711]
我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。
我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
論文 参考訳(メタデータ) (2024-03-04T12:16:15Z) - Counter-intuitive: Large Language Models Can Better Understand Knowledge
Graphs Than We Thought [14.48592647192298]
本稿では、知識グラフ(KG)を用いて、大規模言語モデル(LLM)推論機能の実現と幻覚の低減を図る。
我々は、複雑な質問応答(CQA)を用いて、LLMのKG知識の理解能力を評価する。
初期の期待とは対照的に,LLMは乱雑でノイズが多く,線形化されたKGの知識を効果的に扱えることが明らかとなった。
論文 参考訳(メタデータ) (2024-02-18T10:44:03Z) - KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning
over Knowledge Graph [134.8631016845467]
我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。
KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。
有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
論文 参考訳(メタデータ) (2024-02-17T02:07:49Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - KG-GPT: A General Framework for Reasoning on Knowledge Graphs Using
Large Language Models [18.20425100517317]
本稿では,知識グラフを用いたタスクに対して,大規模言語モデルを活用するフレームワークであるKG-GPTを提案する。
KG-GPTは文の分割、関連するグラフコンポーネントの検索、論理的結論の導出という3つのステップから構成される。
KGベースの事実検証とKGQAベンチマークを用いてKG-GPTを評価する。
論文 参考訳(メタデータ) (2023-10-17T12:51:35Z) - Knowledge Graph Embedding: An Overview [42.16033541753744]
本稿では,知識グラフの完成に関する現在の研究状況について概観する。
我々は,KG埋め込み(KGE)設計の2つの主要分野に焦点を当てた:1)距離ベース手法と2)意味マッチング方式である。
次に,2次元および3次元アフィン操作からインスピレーションを得る複合Eと複合E3Dを探索する。
論文 参考訳(メタデータ) (2023-09-21T21:52:42Z) - Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。
知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
論文 参考訳(メタデータ) (2023-06-14T07:15:26Z) - BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from
Pretrained Language Models [65.51390418485207]
本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。
関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。
我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
論文 参考訳(メタデータ) (2022-06-28T19:46:29Z) - KELM: Knowledge Enhanced Pre-Trained Language Representations with
Message Passing on Hierarchical Relational Graphs [26.557447199727758]
本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。
我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
論文 参考訳(メタデータ) (2021-09-09T12:39:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。