論文の概要: Knowledge Graph Large Language Model (KG-LLM) for Link Prediction

• arxiv url: http://arxiv.org/abs/2403.07311v5
• Date: Sat, 23 Mar 2024 19:09:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 00:56:02.635175
• Title: Knowledge Graph Large Language Model (KG-LLM) for Link Prediction
• Title（参考訳）: リンク予測のための知識グラフ大言語モデル(KG-LLM)
• Authors: Dong Shu, Tianle Chen, Mingyu Jin, Yiting Zhang, Chong Zhang, Mengnan Du, Yongfeng Zhang,
• Abstract要約: 本稿では,知識グラフにおけるマルチホップリンク予測を強化するために,知識グラフ大言語モデルフレームワーク(KG-LLM)を提案する。 知識グラフをチェーン・オブ・シークレットのプロンプトに変換することで、我々のフレームワークは、エンティティの潜在表現とその相互関係を識別し、学習するように設計されている。
• 参考スコア（独自算出の注目度）: 41.471553288898114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The task of predicting multiple links within knowledge graphs (KGs) stands as a challenge in the field of knowledge graph analysis, a challenge increasingly resolvable due to advancements in natural language processing (NLP) and KG embedding techniques. This paper introduces a novel methodology, the Knowledge Graph Large Language Model Framework (KG-LLM), which leverages pivotal NLP paradigms, including chain-of-thought (CoT) prompting and in-context learning (ICL), to enhance multi-hop link prediction in KGs. By converting the KG to a CoT prompt, our framework is designed to discern and learn the latent representations of entities and their interrelations. To show the efficacy of the KG-LLM Framework, we fine-tune three leading Large Language Models (LLMs) within this framework, employing both non-ICL and ICL tasks for a comprehensive evaluation. Further, we explore the framework's potential to provide LLMs with zero-shot capabilities for handling previously unseen prompts. Our experimental findings discover that integrating ICL and CoT not only augments the performance of our approach but also significantly boosts the models' generalization capacity, thereby ensuring more precise predictions in unfamiliar scenarios.
• Abstract（参考訳）: 知識グラフ(KG)内の複数のリンクを予測するタスクは、知識グラフ解析の分野における課題であり、自然言語処理(NLP)やKG埋め込み技術の進歩により、ますます解決しやすくなっている。 本稿では,知識グラフ大言語モデルフレームワーク(KG-LLM)を提案する。このフレームワークは,KGにおけるマルチホップリンク予測を強化するために,チェーン・オブ・シンクレット(CoT)やインコンテキスト学習(ICL)など,重要なNLPパラダイムを活用する。 KGをCoTプロンプトに変換することで、我々のフレームワークはエンティティの潜在表現とその相互関係を識別し、学習するように設計されている。 KG-LLM フレームワークの有効性を示すため,本フレームワークでは,ICL と ICL の2つのタスクを総合的な評価に用い,主要な3つのLarge Language Model (LLM) を微調整する。 さらに、これまで見つからなかったプロンプトを扱うため、ゼロショット機能を備えたLLMを提供するフレームワークの可能性についても検討する。 実験の結果,ICLとCoTの統合はアプローチの性能を向上するだけでなく,モデルの一般化能力を大幅に向上させ,不慣れなシナリオにおけるより正確な予測を可能にすることがわかった。

関連論文リスト

• GLTW: Joint Improved Graph Transformer and LLM via Three-Word Language for Knowledge Graph Completion [52.026016846945424]
  我々は、KGの構造情報をエンコードし、それを大規模言語モデルにマージするGLTWと呼ばれる新しい手法を提案する。 具体的には、局所構造情報とグローバル構造情報の両方を効果的に符号化する改良されたグラフ変換器(iGT)を導入する。 また,KG内のすべてのエンティティを分類対象として用いたサブグラフに基づく多分類学習目標を開発し,学習効率を向上する。
  論文  参考訳（メタデータ） (2025-02-17T06:02:59Z)
• Self-supervised Quantized Representation for Seamlessly Integrating Knowledge Graphs with Large Language Models [17.88134311726175]
  本稿では,知識グラフと大規模言語モデルとのシームレスな統合を目指して,各エンティティの量子化符号を学習し,適用するためのフレームワークを提案する。 実験の結果、SSQRは既存の教師なしの量子化手法よりも優れており、より区別可能なコードを生成することがわかった。 微調整されたLLaMA2とLLaMA3.1は、KGリンク予測と三重分類タスクよりも優れた性能を持つ。
  論文  参考訳（メタデータ） (2025-01-30T03:40:20Z)
• Narrative Analysis of True Crime Podcasts With Knowledge Graph-Augmented Large Language Models [8.78598447041169]
  大きな言語モデル(LLM)は、複雑な物語の弧や矛盾する情報を含む物語といまだに苦労している。 最近の研究は、外部知識ベースで強化されたLLMが、結果の精度と解釈可能性を向上させることを示唆している。 本研究では,実際のポッドキャストデータの理解における知識グラフ(KG)の適用性について検討する。
  論文  参考訳（メタデータ） (2024-11-01T21:49:00Z)
• Tree-of-Traversals: A Zero-Shot Reasoning Algorithm for Augmenting Black-box Language Models with Knowledge Graphs [72.89652710634051]
  知識グラフ(KG)は、信頼性があり、構造化され、ドメイン固有であり、最新の外部知識を提供することで、Large Language Models(LLM)を補完する。 そこで本研究では,ゼロショット推論アルゴリズムであるTree-of-Traversalsを導入する。
  論文  参考訳（メタデータ） (2024-07-31T06:01:24Z)
• Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
  大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。 知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
  論文  参考訳（メタデータ） (2023-06-14T07:15:26Z)
• Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
  DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。 我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
  論文  参考訳（メタデータ） (2022-10-17T18:02:52Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models [42.38563175680914]
  本稿では,知識グラフ(KG)の事実を記述した自然言語テキストの自動生成方法について検討する。 数ショットの設定を考えると、言語理解と生成において事前学習された言語モデル(PLM)の優れた能力を利用する。
  論文  参考訳（メタデータ） (2021-06-03T06:48:00Z)
• JAKET: Joint Pre-training of Knowledge Graph and Language Understanding [73.43768772121985]
  本稿では,知識グラフと言語の両方をモデル化する新しい事前学習フレームワークであるJAKETを提案する。 知識モジュールと言語モジュールは相互に支援するための重要な情報を提供する。 我々の設計により、事前学習されたモデルは、新しいドメインの見知らぬ知識グラフに容易に適応できる。
  論文  参考訳（メタデータ） (2020-10-02T05:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。