論文の概要: Reasoning on Graphs: Faithful and Interpretable Large Language Model
Reasoning
- arxiv url: http://arxiv.org/abs/2310.01061v2
- Date: Sat, 24 Feb 2024 03:03:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 19:21:08.448974
- Title: Reasoning on Graphs: Faithful and Interpretable Large Language Model
Reasoning
- Title(参考訳): グラフの推論: 忠実で解釈可能な大言語モデル推論
- Authors: Linhao Luo, Yuan-Fang Li, Gholamreza Haffari, Shirui Pan
- Abstract要約: 大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。
彼らは推論中に最新の知識と幻覚を欠いている。
知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
- 参考スコア(独自算出の注目度): 104.92384929827776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have demonstrated impressive reasoning abilities
in complex tasks. However, they lack up-to-date knowledge and experience
hallucinations during reasoning, which can lead to incorrect reasoning
processes and diminish their performance and trustworthiness. Knowledge graphs
(KGs), which capture vast amounts of facts in a structured format, offer a
reliable source of knowledge for reasoning. Nevertheless, existing KG-based LLM
reasoning methods only treat KGs as factual knowledge bases and overlook the
importance of their structural information for reasoning. In this paper, we
propose a novel method called reasoning on graphs (RoG) that synergizes LLMs
with KGs to enable faithful and interpretable reasoning. Specifically, we
present a planning-retrieval-reasoning framework, where RoG first generates
relation paths grounded by KGs as faithful plans. These plans are then used to
retrieve valid reasoning paths from the KGs for LLMs to conduct faithful
reasoning. Furthermore, RoG not only distills knowledge from KGs to improve the
reasoning ability of LLMs through training but also allows seamless integration
with any arbitrary LLMs during inference. Extensive experiments on two
benchmark KGQA datasets demonstrate that RoG achieves state-of-the-art
performance on KG reasoning tasks and generates faithful and interpretable
reasoning results.
- Abstract(参考訳): 大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。
しかし、それらは推論中に最新の知識や経験の幻覚を欠き、誤った推論プロセスを引き起こし、パフォーマンスと信頼性を低下させます。
知識グラフ(KG)は、大量の事実を構造化形式で捉え、推論のための信頼できる知識源を提供する。
それでも、既存のKGベースのLCM推論手法は、KGを事実的知識基盤として扱うだけで、推論のための構造情報の重要性を見落としている。
本稿では,LLMをKGと相乗化して忠実かつ解釈可能な推論を可能にする,グラフ上の推論(RoG)と呼ばれる新しい手法を提案する。
具体的には、RoGがKGを忠実な計画として基礎とした関係経路を最初に生成する計画-検索-推論フレームワークを提案する。
これらの計画は、LLMが忠実な推論を行うために、KGsから有効な推論パスを取得するために使用される。
さらに、RoGはKGからの知識を蒸留し、学習を通してLLMの推論能力を向上させるだけでなく、推論中に任意のLLMとシームレスに統合することができる。
2つのベンチマークKGQAデータセットの大規模な実験は、RoGがKG推論タスクの最先端のパフォーマンスを達成し、忠実で解釈可能な推論結果を生成することを示した。
関連論文リスト
- Counter-intuitive: Large Language Models Can Better Understand Knowledge
Graphs Than We Thought [14.48592647192298]
本稿では、知識グラフ(KG)を用いて、大規模言語モデル(LLM)推論機能の実現と幻覚の低減を図る。
我々は、複雑な質問応答(CQA)を用いて、LLMのKG知識の理解能力を評価する。
初期の期待とは対照的に,LLMは乱雑でノイズが多く,線形化されたKGの知識を効果的に扱えることが明らかとなった。
論文 参考訳(メタデータ) (2024-02-18T10:44:03Z) - Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and
Improving LLMs [95.41575344721691]
大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。
しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。
本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T03:38:51Z) - Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with
Knowledge Graphs [55.05394799820403]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-17T05:22:56Z) - Understanding the Reasoning Ability of Language Models From the
Perspective of Reasoning Paths Aggregation [117.32019595678771]
我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。
我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。
複数のKGおよびMWPデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
論文 参考訳(メタデータ) (2024-02-05T18:25:51Z) - Mitigating Large Language Model Hallucinations via Autonomous Knowledge
Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。
実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-11-22T11:08:38Z) - ChatRule: Mining Logical Rules with Large Language Models for Knowledge
Graph Reasoning [107.61997887260056]
そこで我々は,知識グラフ上の論理ルールをマイニングするための大規模言語モデルの力を解き放つ新しいフレームワークChatRuleを提案する。
具体的には、このフレームワークは、KGのセマンティック情報と構造情報の両方を活用するLLMベースのルールジェネレータで開始される。
生成されたルールを洗練させるために、ルールランキングモジュールは、既存のKGから事実を取り入れてルール品質を推定する。
論文 参考訳(メタデータ) (2023-09-04T11:38:02Z) - Complex Logical Reasoning over Knowledge Graphs using Large Language
Models [10.056167107654089]
知識グラフ(KG)に対する推論は、エンティティ間の関係を深く理解する必要がある課題である。
現在のアプローチは、論理的なクエリ操作のために、ベクトル空間にエンティティを埋め込むための学習ジオメトリに依存している。
本稿では,文脈的KG探索と論理的クエリ推論を組み合わせた複雑なKG推論を定式化する,言語誘導型知識グラフによる抽象推論(LARK)を提案する。
論文 参考訳(メタデータ) (2023-05-02T02:21:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。