論文の概要: FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering
- arxiv url: http://arxiv.org/abs/2405.13873v1
- Date: Wed, 22 May 2024 17:56:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 20:53:06.720401
- Title: FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering
- Title（参考訳）: FiDeLiS: 知識グラフ質問回答のための大規模言語モデルにおける忠実な推論
- Authors: Yuan Sui, Yufei He, Nian Liu, Xiaoxin He, Kun Wang, Bryan Hooi,
- Abstract要約: 外部知識グラフに基づく推論の中間段階を扱うための検索探索対話手法FiDelisを提案する。
我々は、LLMの論理と常識推論を知識検索プロセスに組み込み、より正確なリコール性能を提供する。
- 参考スコア（独自算出の注目度）: 46.41364317172677
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While large language models (LLMs) have achieved significant success in various applications, they often struggle with hallucinations, especially in scenarios that require deep and responsible reasoning. These issues could be partially mitigate by integrating external knowledge graphs (KG) in LLM reasoning. However, the method of their incorporation is still largely unexplored. In this paper, we propose a retrieval-exploration interactive method, FiDelis to handle intermediate steps of reasoning grounded by KGs. Specifically, we propose Path-RAG module for recalling useful intermediate knowledge from KG for LLM reasoning. We incorporate the logic and common-sense reasoning of LLMs and topological connectivity of KGs into the knowledge retrieval process, which provides more accurate recalling performance. Furthermore, we propose to leverage deductive reasoning capabilities of LLMs as a better criterion to automatically guide the reasoning process in a stepwise and generalizable manner. Deductive verification serve as precise indicators for when to cease further reasoning, thus avoiding misleading the chains of reasoning and unnecessary computation. Extensive experiments show that our method, as a training-free method with lower computational cost and better generality outperforms the existing strong baselines in three benchmarks.
- Abstract（参考訳）: 大きな言語モデル(LLM)は様々なアプリケーションで大きな成功を収めてきたが、幻覚に苦しむことが多い。
これらの問題は、LLM推論に外部知識グラフ(KG)を統合することで部分的に緩和することができる。
しかし、その定式化の方法はまだほとんど解明されていない。
本稿では,KGによる推論の中間段階を扱うための検索探索対話手法FiDelisを提案する。
具体的には、LLM推論のためのKGから有用な中間知識をリコールするためのPath-RAGモジュールを提案する。
我々は,LLMの論理的・常識的推論とKGのトポロジ的接続を知識検索プロセスに統合し,より正確なリコール性能を実現する。
さらに, LLMの導出的推論能力を活用して, 段階的かつ一般化可能な推論プロセスを自動的に導出する手法を提案する。
帰納的検証は、いつ推論を中止するかの正確な指標となり、推論の連鎖と不要な計算の誤解を招くことを避ける。
大規模な実験により,計算コストが低く,汎用性が向上したトレーニング不要な手法として,3つのベンチマークにおいて,既存の強靭なベースラインを上回る結果が得られた。
関連論文リスト
- Causal Reasoning in Large Language Models: A Knowledge Graph Approach [6.5344638992876085]
大規模言語モデル(LLM)は一般的に、意味的に類似した情報を取得するか、あるいはチェーン・オブ・シントのような構造化されたプロンプトを通して推論能力を向上させることでパフォーマンスを向上させる。
本稿では,因果関係を利用した知識グラフに基づくランダムウォーク推論手法を提案する。
論文 参考訳（メタデータ） (2024-10-15T13:24:44Z) - GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。
本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
論文 参考訳（メタデータ） (2024-10-11T03:05:06Z) - Thought-Path Contrastive Learning via Premise-Oriented Data Augmentation for Logical Reading Comprehension [9.67774998354062]
これまでの研究は主に、Chain-of-Thought(CoT)やデータ拡張による論理的推論能力の向上に重点を置いてきた。
本稿では,CoTの論理式を生成するためのPODA(Premise-Oriented Data Augmentation)フレームワークを提案する。
また,本論文では,原案と反実例の推論経路を比較検討する新たな思考経路コントラスト学習手法についても紹介する。
論文 参考訳（メタデータ） (2024-09-22T15:44:43Z) - PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
木探索に基づく推論経路生成手法であるPathFinderを提案する。
動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。
我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
論文 参考訳（メタデータ） (2023-12-08T17:05:47Z) - LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning [61.7853049843921]
Chain-of-Thoughting(CoT)プロンプトは、大規模言語モデル(LLM)のための一般的なコンテキスト内学習手法である。
本稿では、教師なし学習を用いて有理数の潜在空間表現を生成するLaRS(Lalatnt Reasoning Skills)という新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-12-07T20:36:10Z) - Graph Elicitation for Guiding Multi-Step Reasoning in Large Language Models [16.432208223793666]
Chain-of-Thoughtはサブクエスト生成と応答を促進させ、多段階推論機能を強化した。
本稿では,GE-Reasoning法を提案する。
提案手法は,マルチホップ質問応答ベンチマークデータセットにおいて,従来のCoTプロンプト手法とその変種よりも優れていた。
論文 参考訳（メタデータ） (2023-11-16T10:36:08Z) - Reasoning on Graphs: Faithful and Interpretable Large Language Model
Reasoning [104.92384929827776]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。
彼らは推論中に最新の知識と幻覚を欠いている。
知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
論文 参考訳（メタデータ） (2023-10-02T10:14:43Z) - Boosting Language Models Reasoning with Chain-of-Knowledge Prompting [18.326858925174605]
CoK(Chain-of-Knowledge)は、構造三重の形で明確な知識証拠を引き出すことを目的としている。
さらに, 推論チェーンの信頼性を推定するF2-Verification法を導入する。
広汎な実験により,本手法はコモンセンス,事実,記号,算術的推論タスクの性能をさらに向上させることができることが示された。
論文 参考訳（メタデータ） (2023-06-10T12:42:36Z) - Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
大規模言語モデルに対して,多段階推論を行うための課題について検討する。
中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。
多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
論文 参考訳（メタデータ） (2022-10-03T05:33:27Z) - Faithful Reasoning Using Large Language Models [12.132449274592668]
因果構造が問題の根底にある論理構造を反映するプロセスを通じて、LMを忠実な多段階推論を行う方法を示す。
我々の手法は、各ステップが2つの微調整されたLMへの呼び出しから得られる推論ステップをチェーンすることで機能する。
我々は,多段階論理推論と科学的質問応答におけるモデルの有効性を実証し,最終的な解答精度のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-08-30T13:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。