論文の概要: LLM as Prompter: Low-resource Inductive Reasoning on Arbitrary Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2402.11804v2
• Date: Sat, 8 Jun 2024 12:16:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 01:33:30.665145
• Title: LLM as Prompter: Low-resource Inductive Reasoning on Arbitrary Knowledge Graphs
• Title（参考訳）: LLM as Prompter: 任意知識グラフに基づく低リソースインダクティブ推論
• Authors: Kai Wang, Yuwei Xu, Zhiyong Wu, Siqiang Luo,
• Abstract要約: 知識グラフ帰納的推論における重要な課題は、テキストと構造の両方面で不足した低リソースシナリオを扱うことだ。 我々は、Large Language Models (LLMs) を用いて、事前学習されたグラフニューラルネットワーク(GNNs)を強化するグラフ構造的プロンプトを生成する。 手法面では、任意のKGをまたいだ低リソース帰納的推論のために設計された、新しい事前学習・促進フレームワークProLINKを導入する。
• 参考スコア（独自算出の注目度）: 20.201820122052897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Graph (KG) inductive reasoning, which aims to infer missing facts from new KGs that are not seen during training, has been widely adopted in various applications. One critical challenge of KG inductive reasoning is handling low-resource scenarios with scarcity in both textual and structural aspects. In this paper, we attempt to address this challenge with Large Language Models (LLMs). Particularly, we utilize the state-of-the-art LLMs to generate a graph-structural prompt to enhance the pre-trained Graph Neural Networks (GNNs), which brings us new methodological insights into the KG inductive reasoning methods, as well as high generalizability in practice. On the methodological side, we introduce a novel pretraining and prompting framework ProLINK, designed for low-resource inductive reasoning across arbitrary KGs without requiring additional training. On the practical side, we experimentally evaluate our approach on 36 low-resource KG datasets and find that ProLINK outperforms previous methods in three-shot, one-shot, and zero-shot reasoning tasks, exhibiting average performance improvements by 20%, 45%, and 147%, respectively. Furthermore, ProLINK demonstrates strong robustness for various LLM promptings as well as full-shot scenarios.
• Abstract（参考訳）: 知識グラフ(KG)帰納的推論は、トレーニング中に見えない新しいKGから行方不明の事実を推測することを目的としており、様々なアプリケーションで広く採用されている。 KG帰納的推論における重要な課題の1つは、テキストと構造の両方面で不足した低リソースシナリオを扱うことである。 本稿では,Large Language Models (LLM) を用いてこの問題に対処する。 特に、最先端のLCMを用いて、事前学習されたグラフニューラルネットワーク(GNN)を強化するグラフ構造的プロンプトを生成し、KG帰納的推論手法に対する新たな方法論的洞察と、実際に高い一般化性をもたらす。 提案手法では,任意のKGに対する低リソース帰納的推論のための事前学習・促進フレームワークProLINKを導入する。 実用面では、36個の低リソースKGデータセットに対する我々のアプローチを実験的に評価し、ProLINKが従来の手法を3ショット、ワンショット、ゼロショットの推論タスクで上回り、平均性能を20%、45%、147%向上させることを示した。 さらに、ProLINKは様々なLLMプロンプトとフルショットシナリオに対して強い堅牢性を示している。

関連論文リスト

• Paths-over-Graph: Knowledge Graph Empowered Large Language Model Reasoning [19.442426875488675]
  我々は,KGから知識推論経路を統合することで,Large Language Models(LLM)推論を強化する新しい手法であるPaths-over-Graph(PoG)を提案する。 PoGは3段階の動的マルチホップパス探索を通じて、マルチホップとマルチエンタリティの問題に取り組む。 実験では、GPT-3.5-TurboのPoGは、GPT-4のToGを最大23.9%上回った。
  論文  参考訳（メタデータ） (2024-10-18T06:57:19Z)
• Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [83.28737898989694]
  大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
  論文  参考訳（メタデータ） (2024-10-16T22:55:17Z)
• Path-based Explanation for Knowledge Graph Completion [17.541247786437484]
  GNNベースの知識グラフ補完モデルの結果に対する適切な説明は、モデルの透明性を高める。 KGCタスクを説明するための既存のプラクティスは、インスタンス/サブグラフベースのアプローチに依存している。 我々は、GNNベースのモデルを探索する最初のパスベースのKGC説明器であるPower-Linkを提案する。
  論文  参考訳（メタデータ） (2024-01-04T14:19:37Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning [104.92384929827776]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。 彼らは推論中に最新の知識と幻覚を欠いている。 知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
  論文  参考訳（メタデータ） (2023-10-02T10:14:43Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals [67.64770842323966]
  NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。 既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。 本稿では, 対物近似(CF)の2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T07:31:04Z)
• Information Extraction in Low-Resource Scenarios: Survey and Perspective [56.5556523013924]
  情報抽出は構造化されていないテキストから構造化された情報を導き出そうとする。 本稿では,emphLLMおよびemphLLMに基づく低リソースIEに対するニューラルアプローチについて概説する。
  論文  参考訳（メタデータ） (2022-02-16T13:44:00Z)
• MPLR: a novel model for multi-target learning of logical rules for knowledge graph reasoning [5.499688003232003]
  本研究では,知識グラフに基づく推論のための論理規則の学習問題について検討する。 本稿では,学習データを完全に活用するために既存のモデルを改善するMPLRと呼ばれるモデルを提案する。 実験結果は,MPLRモデルが5つのベンチマークデータセット上で最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-12T09:16:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。