論文の概要: Paths-over-Graph: Knowledge Graph Empowered Large Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2410.14211v2
• Date: Mon, 21 Oct 2024 01:22:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:19:10.720810
• Title: Paths-over-Graph: Knowledge Graph Empowered Large Language Model Reasoning
• Title（参考訳）: Paths-over-Graph: 大規模言語モデル推論を利用した知識グラフ
• Authors: Xingyu Tan, Xiaoyang Wang, Qing Liu, Xiwei Xu, Xin Yuan, Wenjie Zhang,
• Abstract要約: 我々は,KGから知識推論経路を統合することで,Large Language Models(LLM)推論を強化する新しい手法であるPaths-over-Graph(PoG)を提案する。 PoGは3段階の動的マルチホップパス探索を通じて、マルチホップとマルチエンタリティの問題に取り組む。 実験では、GPT-3.5-TurboのPoGは、GPT-4のToGを最大23.9%上回った。
• 参考スコア（独自算出の注目度）: 19.442426875488675
• License:
• Abstract: Large Language Models (LLMs) have achieved impressive results in various tasks but struggle with hallucination problems and lack of relevant knowledge, especially in deep complex reasoning and knowledge-intensive tasks. Knowledge Graphs (KGs), which capture vast amounts of facts in a structured format, offer a reliable source of knowledge for reasoning. However, existing KG-based LLM reasoning methods face challenges like handling multi-hop reasoning, multi-entity questions, and effectively utilizing graph structures. To address these issues, we propose Paths-over-Graph (PoG), a novel method that enhances LLM reasoning by integrating knowledge reasoning paths from KGs, improving the interpretability and faithfulness of LLM outputs. PoG tackles multi-hop and multi-entity questions through a three-phase dynamic multi-hop path exploration, which combines the inherent knowledge of LLMs with factual knowledge from KGs. In order to improve the efficiency, PoG prunes irrelevant information from the graph exploration first and introduces efficient three-step pruning techniques that incorporate graph structures, LLM prompting, and a pre-trained language model (e.g., SBERT) to effectively narrow down the explored candidate paths. This ensures all reasoning paths contain highly relevant information captured from KGs, making the reasoning faithful and interpretable in problem-solving. PoG innovatively utilizes graph structure to prune the irrelevant noise and represents the first method to implement multi-entity deep path detection on KGs for LLM reasoning tasks. Comprehensive experiments on five benchmark KGQA datasets demonstrate PoG outperforms the state-of-the-art method ToG across GPT-3.5-Turbo and GPT-4, achieving an average accuracy improvement of 18.9%. Notably, PoG with GPT-3.5-Turbo surpasses ToG with GPT-4 by up to 23.9%.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々なタスクにおいて顕著な成果を上げているが、幻覚の問題や関連する知識の欠如に苦慮している。 大量の事実を構造化形式でキャプチャする知識グラフ(KG)は、推論のための信頼できる知識源を提供する。 しかし、既存の KG ベースの LLM 推論手法は、マルチホップ推論、マルチエンタリティ質問、グラフ構造を効果的に活用するといった課題に直面している。 これらの問題に対処するために,我々は,知識推論経路をKGから統合し,LLM出力の解釈可能性と忠実性を向上させることによって,LLM推論を強化する新しい手法であるPath-over-Graph(PoG)を提案する。 PoGは、3段階の動的マルチホップパス探索を通じてマルチホップとマルチエンタリティの問題に取り組む。 効率を改善するため、PoGはまずグラフ探索から無関係な情報を抽出し、グラフ構造、LCMプロンプト、事前訓練された言語モデル(例えばSBERT)を組み込んだ効率的な3段階プルーニング技術を導入し、探索された候補パスを効果的に絞り込む。 これにより、すべての推論経路は、KGから取得した非常に関連性の高い情報を含み、推論が問題解決において忠実で解釈可能であることが保証される。 PoGは,無関係な雑音を誘発するグラフ構造を革新的に利用し,LLM推論タスクのためのKGにマルチエンタリティディープパス検出を実装した最初の方法である。 5つのベンチマークKGQAデータセットの総合的な実験では、PoGはGPT-3.5-TurboとGPT-4で最先端のToGよりも優れており、18.9%の平均精度の向上が達成されている。 特に、GPT-3.5-TurboのPoGは、GPT-4のToGを最大23.9%上回っている。

関連論文リスト

• Can LLMs be Good Graph Judger for Knowledge Graph Construction? [33.958327252291]
  本稿では,上記の課題に対処するための知識グラフ構築フレームワークであるGraphJudgerを提案する。 提案手法には,エンティティ中心の反復的テキスト記述,知識認識型指導チューニング,グラフ判断の3つの革新的なモジュールが導入されている。 2つの一般的なテキストグラフペアデータセットと1つのドメイン固有のテキストグラフペアデータセットによる実験は、ベースライン法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2024-11-26T12:46:57Z)
• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [83.28737898989694]
  大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
  論文  参考訳（メタデータ） (2024-10-16T22:55:17Z)
• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Debate on Graph: a Flexible and Reliable Reasoning Framework for Large Language Models [33.662269036173456]
  大規模言語モデル(LLM)は、関連する知識の欠如により、現実世界の応用において幻覚に悩まされることがある。 KGQA(Knowledge Graph Question Answering)は、統合のための重要な手掛かりとなる。 LLMの対話型学習機能を活用してグラフ上での推論と議論を行う対話型KGQAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-05T01:11:58Z)
• Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation [14.448198170932226]
  Think-on-Graph 2.0 (ToG-2) は、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を反復的に取得するハイブリッドRAGフレームワークである。 ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する詳細な手がかりを検索する。 GPT-3.5を用いて、7つの知識集約データセットのうち6つにおいて、ToG-2が最先端(SOTA)性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-07-15T15:20:40Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• Explore then Determine: A GNN-LLM Synergy Framework for Reasoning over Knowledge Graph [38.31983923708175]
  本稿では,知識グラフ(KGQA)に関する質問応答について述べる。 グラフニューラルネットワーク(GNN)とLarge Language Modelsを相乗化してKGを推論するExplore-then-Determine(EtD)フレームワークを提案する。 EtDは最先端のパフォーマンスを達成し、忠実な推論結果を生成する。
  論文  参考訳（メタデータ） (2024-06-03T09:38:28Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning [104.92384929827776]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。 彼らは推論中に最新の知識と幻覚を欠いている。 知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
  論文  参考訳（メタデータ） (2023-10-02T10:14:43Z)
• Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph [29.447300472617826]
  Think-on-Graph (ToG)は、大規模言語モデル(LLM)における外部知識グラフ(KG)に対する新しいアプローチである。 ToGはKG上でビームサーチを繰り返し実行し、最も有望な推論経路を発見し、最も可能性の高い推論結果を返す。 ToGは、以前のSOTAが追加トレーニングに依存する9つのデータセットのうち6つで、全体的なSOTAを達成する。
  論文  参考訳（メタデータ） (2023-07-15T03:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。