論文の概要: LLM as Prompter: Low-resource Inductive Reasoning on Arbitrary Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2402.11804v3
- Date: Wed, 19 Jun 2024 09:00:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-22 05:19:10.139497
- Title: LLM as Prompter: Low-resource Inductive Reasoning on Arbitrary Knowledge Graphs
- Title(参考訳): LLM as Prompter: 任意知識グラフに基づく低リソースインダクティブ推論
- Authors: Kai Wang, Yuwei Xu, Zhiyong Wu, Siqiang Luo,
- Abstract要約: 知識グラフ帰納的推論における重要な課題は、テキストと構造の両方面で不足した低リソースシナリオを扱うことだ。
我々は、Large Language Models (LLMs) を用いて、事前学習されたグラフニューラルネットワーク(GNNs)を強化するグラフ構造的プロンプトを生成する。
手法面では、任意のKGをまたいだ低リソース帰納的推論のために設計された、新しい事前学習・促進フレームワークProLINKを導入する。
- 参考スコア(独自算出の注目度): 20.201820122052897
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge Graph (KG) inductive reasoning, which aims to infer missing facts from new KGs that are not seen during training, has been widely adopted in various applications. One critical challenge of KG inductive reasoning is handling low-resource scenarios with scarcity in both textual and structural aspects. In this paper, we attempt to address this challenge with Large Language Models (LLMs). Particularly, we utilize the state-of-the-art LLMs to generate a graph-structural prompt to enhance the pre-trained Graph Neural Networks (GNNs), which brings us new methodological insights into the KG inductive reasoning methods, as well as high generalizability in practice. On the methodological side, we introduce a novel pretraining and prompting framework ProLINK, designed for low-resource inductive reasoning across arbitrary KGs without requiring additional training. On the practical side, we experimentally evaluate our approach on 36 low-resource KG datasets and find that ProLINK outperforms previous methods in three-shot, one-shot, and zero-shot reasoning tasks, exhibiting average performance improvements by 20%, 45%, and 147%, respectively. Furthermore, ProLINK demonstrates strong robustness for various LLM promptings as well as full-shot scenarios.
- Abstract(参考訳): 知識グラフ(KG)帰納的推論は、トレーニング中に見えない新しいKGから行方不明の事実を推測することを目的としており、様々なアプリケーションで広く採用されている。
KG帰納的推論における重要な課題の1つは、テキストと構造の両方面で不足した低リソースシナリオを扱うことである。
本稿では,Large Language Models (LLM) を用いてこの問題に対処する。
特に、最先端のLCMを用いて、事前学習されたグラフニューラルネットワーク(GNN)を強化するグラフ構造的プロンプトを生成し、KG帰納的推論手法に対する新たな方法論的洞察と、実際に高い一般化性をもたらす。
提案手法では,任意のKGに対する低リソース帰納的推論のための事前学習・促進フレームワークProLINKを導入する。
実用面では、36個の低リソースKGデータセットに対する我々のアプローチを実験的に評価し、ProLINKが従来の手法を3ショット、ワンショット、ゼロショットの推論タスクで上回り、平均性能を20%、45%、147%向上させることを示した。
さらに、ProLINKは様々なLLMプロンプトとフルショットシナリオに対して強い堅牢性を示している。
関連論文リスト
- FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering [46.41364317172677]
外部知識グラフに基づく推論の中間段階を扱うための検索探索対話手法FiDelisを提案する。
我々は、LLMの論理と常識推論を知識検索プロセスに組み込み、より正確なリコール性能を提供する。
論文 参考訳(メタデータ) (2024-05-22T17:56:53Z) - Path-based Explanation for Knowledge Graph Completion [18.819056717782104]
GNNベースの知識グラフ補完モデルの結果に対する適切な説明は、モデルの透明性を高める。
KGCタスクを説明するための既存のプラクティスは、インスタンス/サブグラフベースのアプローチに依存している。
我々は、GNNベースのモデルを探索する最初のパスベースのKGC説明器であるPower-Linkを提案する。
論文 参考訳(メタデータ) (2024-01-04T14:19:37Z) - ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained
Language Models for Question Answering over Knowledge Graph [142.42275983201978]
本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。
また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。
実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
論文 参考訳(メタデータ) (2023-12-30T07:18:54Z) - Evaluating and Enhancing Large Language Models for Conversational
Reasoning on Knowledge Graphs [15.480976967871632]
我々は知識グラフ(KG)を用いた現在最先端の大規模言語モデル(GPT-4)の会話推論能力を評価する。
我々は,KG経路の正確かつ適応的な予測を行うために設計された基底KG推論エージェントであるLLM-ARKを紹介する。
LLaMA-2-7B-ARKは、現在の最先端モデルよりも5.28ポイント優れており、ターゲット@1評価基準では36.39%である。
論文 参考訳(メタデータ) (2023-12-18T15:23:06Z) - Reasoning on Graphs: Faithful and Interpretable Large Language Model
Reasoning [104.92384929827776]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。
彼らは推論中に最新の知識と幻覚を欠いている。
知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
論文 参考訳(メタデータ) (2023-10-02T10:14:43Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Faithful Explanations of Black-box NLP Models Using LLM-generated
Counterfactuals [67.64770842323966]
NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。
既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。
本稿では, 対物近似(CF)の2つの手法を提案する。
論文 参考訳(メタデータ) (2023-10-01T07:31:04Z) - Information Extraction in Low-Resource Scenarios: Survey and Perspective [60.67550275379953]
情報抽出は構造化されていないテキストから構造化された情報を導き出そうとする。
本稿では,emphLLMおよびemphLLMに基づく低リソースIEに対するニューラルアプローチについて概説する。
論文 参考訳(メタデータ) (2022-02-16T13:44:00Z) - MPLR: a novel model for multi-target learning of logical rules for
knowledge graph reasoning [5.499688003232003]
本研究では,知識グラフに基づく推論のための論理規則の学習問題について検討する。
本稿では,学習データを完全に活用するために既存のモデルを改善するMPLRと呼ばれるモデルを提案する。
実験結果は,MPLRモデルが5つのベンチマークデータセット上で最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2021-12-12T09:16:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。