論文の概要: FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering
- arxiv url: http://arxiv.org/abs/2405.13873v1
- Date: Wed, 22 May 2024 17:56:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 20:53:06.720401
- Title: FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering
- Title(参考訳): FiDeLiS: 知識グラフ質問回答のための大規模言語モデルにおける忠実な推論
- Authors: Yuan Sui, Yufei He, Nian Liu, Xiaoxin He, Kun Wang, Bryan Hooi,
- Abstract要約: 外部知識グラフに基づく推論の中間段階を扱うための検索探索対話手法FiDelisを提案する。
我々は、LLMの論理と常識推論を知識検索プロセスに組み込み、より正確なリコール性能を提供する。
- 参考スコア(独自算出の注目度): 46.41364317172677
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While large language models (LLMs) have achieved significant success in various applications, they often struggle with hallucinations, especially in scenarios that require deep and responsible reasoning. These issues could be partially mitigate by integrating external knowledge graphs (KG) in LLM reasoning. However, the method of their incorporation is still largely unexplored. In this paper, we propose a retrieval-exploration interactive method, FiDelis to handle intermediate steps of reasoning grounded by KGs. Specifically, we propose Path-RAG module for recalling useful intermediate knowledge from KG for LLM reasoning. We incorporate the logic and common-sense reasoning of LLMs and topological connectivity of KGs into the knowledge retrieval process, which provides more accurate recalling performance. Furthermore, we propose to leverage deductive reasoning capabilities of LLMs as a better criterion to automatically guide the reasoning process in a stepwise and generalizable manner. Deductive verification serve as precise indicators for when to cease further reasoning, thus avoiding misleading the chains of reasoning and unnecessary computation. Extensive experiments show that our method, as a training-free method with lower computational cost and better generality outperforms the existing strong baselines in three benchmarks.
- Abstract(参考訳): 大きな言語モデル(LLM)は様々なアプリケーションで大きな成功を収めてきたが、幻覚に苦しむことが多い。
これらの問題は、LLM推論に外部知識グラフ(KG)を統合することで部分的に緩和することができる。
しかし、その定式化の方法はまだほとんど解明されていない。
本稿では,KGによる推論の中間段階を扱うための検索探索対話手法FiDelisを提案する。
具体的には、LLM推論のためのKGから有用な中間知識をリコールするためのPath-RAGモジュールを提案する。
我々は,LLMの論理的・常識的推論とKGのトポロジ的接続を知識検索プロセスに統合し,より正確なリコール性能を実現する。
さらに, LLMの導出的推論能力を活用して, 段階的かつ一般化可能な推論プロセスを自動的に導出する手法を提案する。
帰納的検証は、いつ推論を中止するかの正確な指標となり、推論の連鎖と不要な計算の誤解を招くことを避ける。
大規模な実験により,計算コストが低く,汎用性が向上したトレーニング不要な手法として,3つのベンチマークにおいて,既存の強靭なベースラインを上回る結果が得られた。
関連論文リスト
- Explore then Determine: A GNN-LLM Synergy Framework for Reasoning over Knowledge Graph [38.31983923708175]
本稿では,知識グラフ(KGQA)に関する質問応答について述べる。
グラフニューラルネットワーク(GNN)とLarge Language Modelsを相乗化してKGを推論するExplore-then-Determine(EtD)フレームワークを提案する。
EtDは最先端のパフォーマンスを達成し、忠実な推論結果を生成する。
論文 参考訳(メタデータ) (2024-06-03T09:38:28Z) - LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。
しかし、それらは自然言語に対して本当に「理性」があるのだろうか?
この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
論文 参考訳(メタデータ) (2024-04-23T21:08:49Z) - Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-17T05:22:56Z) - Mitigating Large Language Model Hallucinations via Autonomous Knowledge
Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。
実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-11-22T11:08:38Z) - Reasoning on Graphs: Faithful and Interpretable Large Language Model
Reasoning [104.92384929827776]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。
彼らは推論中に最新の知識と幻覚を欠いている。
知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
論文 参考訳(メタデータ) (2023-10-02T10:14:43Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - GraphReason: Enhancing Reasoning Capabilities of Large Language Models through A Graph-Based Verification Approach [0.0]
大きな言語モデル(LLM)は印象的な推論機能を示しています。
本稿では,LLMの推論能力をさらに向上するグラフベースの新しい手法を提案する。
論文 参考訳(メタデータ) (2023-08-18T03:12:59Z) - Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph [29.447300472617826]
Think-on-Graph (ToG)は、大規模言語モデル(LLM)における外部知識グラフ(KG)に対する新しいアプローチである。
ToGはKG上でビームサーチを繰り返し実行し、最も有望な推論経路を発見し、最も可能性の高い推論結果を返す。
ToGは、以前のSOTAが追加トレーニングに依存する9つのデータセットのうち6つで、全体的なSOTAを達成する。
論文 参考訳(メタデータ) (2023-07-15T03:31:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。