論文の概要: Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2310.01061v2
• Date: Sat, 24 Feb 2024 03:03:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 19:21:08.448974
• Title: Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning
• Title（参考訳）: グラフの推論: 忠実で解釈可能な大言語モデル推論
• Authors: Linhao Luo, Yuan-Fang Li, Gholamreza Haffari, Shirui Pan
• Abstract要約: 大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。 彼らは推論中に最新の知識と幻覚を欠いている。 知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
• 参考スコア（独自算出の注目度）: 104.92384929827776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated impressive reasoning abilities in complex tasks. However, they lack up-to-date knowledge and experience hallucinations during reasoning, which can lead to incorrect reasoning processes and diminish their performance and trustworthiness. Knowledge graphs (KGs), which capture vast amounts of facts in a structured format, offer a reliable source of knowledge for reasoning. Nevertheless, existing KG-based LLM reasoning methods only treat KGs as factual knowledge bases and overlook the importance of their structural information for reasoning. In this paper, we propose a novel method called reasoning on graphs (RoG) that synergizes LLMs with KGs to enable faithful and interpretable reasoning. Specifically, we present a planning-retrieval-reasoning framework, where RoG first generates relation paths grounded by KGs as faithful plans. These plans are then used to retrieve valid reasoning paths from the KGs for LLMs to conduct faithful reasoning. Furthermore, RoG not only distills knowledge from KGs to improve the reasoning ability of LLMs through training but also allows seamless integration with any arbitrary LLMs during inference. Extensive experiments on two benchmark KGQA datasets demonstrate that RoG achieves state-of-the-art performance on KG reasoning tasks and generates faithful and interpretable reasoning results.
• Abstract（参考訳）: 大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。 しかし、それらは推論中に最新の知識や経験の幻覚を欠き、誤った推論プロセスを引き起こし、パフォーマンスと信頼性を低下させます。 知識グラフ(KG)は、大量の事実を構造化形式で捉え、推論のための信頼できる知識源を提供する。 それでも、既存のKGベースのLCM推論手法は、KGを事実的知識基盤として扱うだけで、推論のための構造情報の重要性を見落としている。 本稿では,LLMをKGと相乗化して忠実かつ解釈可能な推論を可能にする,グラフ上の推論(RoG)と呼ばれる新しい手法を提案する。 具体的には、RoGがKGを忠実な計画として基礎とした関係経路を最初に生成する計画-検索-推論フレームワークを提案する。 これらの計画は、LLMが忠実な推論を行うために、KGsから有効な推論パスを取得するために使用される。 さらに、RoGはKGからの知識を蒸留し、学習を通してLLMの推論能力を向上させるだけでなく、推論中に任意のLLMとシームレスに統合することができる。 2つのベンチマークKGQAデータセットの大規模な実験は、RoGがKG推論タスクの最先端のパフォーマンスを達成し、忠実で解釈可能な推論結果を生成することを示した。

関連論文リスト

• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models [83.28737898989694]
  大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
  論文  参考訳（メタデータ） (2024-10-16T22:55:17Z)
• Causal Reasoning in Large Language Models: A Knowledge Graph Approach [6.5344638992876085]
  大規模言語モデル(LLM)は一般的に、意味的に類似した情報を取得するか、あるいはチェーン・オブ・シントのような構造化されたプロンプトを通して推論能力を向上させることでパフォーマンスを向上させる。 本稿では,因果関係を利用した知識グラフに基づくランダムウォーク推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:24:44Z)
• Explore then Determine: A GNN-LLM Synergy Framework for Reasoning over Knowledge Graph [38.31983923708175]
  本稿では,知識グラフ(KGQA)に関する質問応答について述べる。 グラフニューラルネットワーク(GNN)とLarge Language Modelsを相乗化してKGを推論するExplore-then-Determine(EtD)フレームワークを提案する。 EtDは最先端のパフォーマンスを達成し、忠実な推論結果を生成する。
  論文  参考訳（メタデータ） (2024-06-03T09:38:28Z)
• Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
  大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。 本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T05:22:56Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning [107.61997887260056]
  そこで我々は,知識グラフ上の論理ルールをマイニングするための大規模言語モデルの力を解き放つ新しいフレームワークChatRuleを提案する。 具体的には、このフレームワークは、KGのセマンティック情報と構造情報の両方を活用するLLMベースのルールジェネレータで開始される。 生成されたルールを洗練させるために、ルールランキングモジュールは、既存のKGから事実を取り入れてルール品質を推定する。
  論文  参考訳（メタデータ） (2023-09-04T11:38:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。