論文の概要: FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering

• arxiv url: http://arxiv.org/abs/2405.13873v2
• Date: Thu, 10 Oct 2024 15:27:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:29:37.813997
• Title: FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering
• Title（参考訳）: FiDeLiS: 知識グラフ質問回答のための大規模言語モデルにおける忠実な推論
• Authors: Yuan Sui, Yufei He, Nian Liu, Xiaoxin He, Kun Wang, Bryan Hooi,
• Abstract要約: 本稿では,知識グラフ質問応答を強化する検索拡張推論手法FiDeLiSを提案する。 FiDeLiSはキーワード付き検索機構を使用し、KGのベクトルベースインデックスから関連エンティティと関係をフェッチする。 我々のアプローチの特徴は、推論経路の選択を最適化するために、自然言語とビームサーチをブレンドすることである。
• 参考スコア（独自算出の注目度）: 46.41364317172677
• License:
• Abstract: Large language models are often challenged by generating erroneous or `hallucinated' responses, especially in complex reasoning tasks. To mitigate this, we propose a retrieval augmented reasoning method, FiDeLiS, which enhances knowledge graph question answering by anchoring responses to structured, verifiable reasoning paths. FiDeLiS uses a keyword-enhanced retrieval mechanism that fetches relevant entities and relations from a vector-based index of KGs to ensure high-recall retrieval. Once these entities and relations are retrieved, our method constructs candidate reasoning paths which are then refined using a stepwise beam search. This ensures that all the paths we create can be confidently linked back to KGs, ensuring they are accurate and reliable. A distinctive feature of our approach is its blend of natural language planning with beam search to optimize the selection of reasoning paths. Moreover, we redesign the way reasoning paths are scored by transforming this process into a deductive reasoning task, allowing the LLM to assess the validity of the paths through deductive reasoning rather than traditional logit-based scoring. This helps avoid misleading reasoning chains and reduces unnecessary computational demand. Extensive experiments demonstrate that our method, even as a training-free method which has lower computational costs and superior generality, outperforms established strong baselines across three datasets.
• Abstract（参考訳）: 大規模な言語モデルは、特に複雑な推論タスクにおいて、誤った、あるいは'ジャッカレート'な応答を生成することでしばしば挑戦される。 これを軽減するために、構造化された検証可能な推論パスに対する応答をアンカーすることで知識グラフ質問応答を強化する検索拡張推論手法FiDeLiSを提案する。 FiDeLiSはキーワード付き検索機構を使用して、KGのベクトルベースのインデックスから関連エンティティと関係をフェッチして、ハイリコール検索を保証する。 これらのエンティティと関係が検索されると、ステップワイズ・ビーム・サーチによって洗練される候補推論経路を構築する。 これにより、私たちが作り出すすべてのパスが確実にKGにリンクされ、正確で信頼性が保証されます。 我々のアプローチの特徴は、推論経路の選択を最適化するために、自然言語とビームサーチをブレンドすることである。 さらに, 従来のロジットに基づくスコアリングよりも, 帰納的推論による経路の妥当性を評価できるように, この過程を帰納的推論タスクに変換することにより, 推論経路のスコア付け方法を再設計する。 これにより、推論チェーンの誤解を招くことを避け、不要な計算要求を減らすことができる。 大規模な実験により, 計算コストが低く, 一般性も優れている訓練不要な手法であっても, 3つのデータセットに対して高いベースラインを確立できた。

関連論文リスト

• Causal Reasoning in Large Language Models: A Knowledge Graph Approach [6.5344638992876085]
  大規模言語モデル(LLM)は一般的に、意味的に類似した情報を取得するか、あるいはチェーン・オブ・シントのような構造化されたプロンプトを通して推論能力を向上させることでパフォーマンスを向上させる。 本稿では,因果関係を利用した知識グラフに基づくランダムウォーク推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:24:44Z)
• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Thought-Path Contrastive Learning via Premise-Oriented Data Augmentation for Logical Reading Comprehension [9.67774998354062]
  これまでの研究は主に、Chain-of-Thought(CoT)やデータ拡張による論理的推論能力の向上に重点を置いてきた。 本稿では,CoTの論理式を生成するためのPODA(Premise-Oriented Data Augmentation)フレームワークを提案する。 また,本論文では,原案と反実例の推論経路を比較検討する新たな思考経路コントラスト学習手法についても紹介する。
  論文  参考訳（メタデータ） (2024-09-22T15:44:43Z)
• PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
  木探索に基づく推論経路生成手法であるPathFinderを提案する。 動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。 我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
  論文  参考訳（メタデータ） (2023-12-08T17:05:47Z)
• LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning [61.7853049843921]
  Chain-of-Thoughting(CoT)プロンプトは、大規模言語モデル(LLM)のための一般的なコンテキスト内学習手法である。 本稿では、教師なし学習を用いて有理数の潜在空間表現を生成するLaRS(Lalatnt Reasoning Skills)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-07T20:36:10Z)
• Graph Elicitation for Guiding Multi-Step Reasoning in Large Language Models [16.432208223793666]
  Chain-of-Thoughtはサブクエスト生成と応答を促進させ、多段階推論機能を強化した。 本稿では,GE-Reasoning法を提案する。 提案手法は,マルチホップ質問応答ベンチマークデータセットにおいて,従来のCoTプロンプト手法とその変種よりも優れていた。
  論文  参考訳（メタデータ） (2023-11-16T10:36:08Z)
• Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning [104.92384929827776]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。 彼らは推論中に最新の知識と幻覚を欠いている。 知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
  論文  参考訳（メタデータ） (2023-10-02T10:14:43Z)
• Boosting Language Models Reasoning with Chain-of-Knowledge Prompting [18.326858925174605]
  CoK(Chain-of-Knowledge)は、構造三重の形で明確な知識証拠を引き出すことを目的としている。 さらに, 推論チェーンの信頼性を推定するF2-Verification法を導入する。 広汎な実験により,本手法はコモンセンス,事実,記号,算術的推論タスクの性能をさらに向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-06-10T12:42:36Z)
• Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
  大規模言語モデルに対して,多段階推論を行うための課題について検討する。 中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。 多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
  論文  参考訳（メタデータ） (2022-10-03T05:33:27Z)
• Faithful Reasoning Using Large Language Models [12.132449274592668]
  因果構造が問題の根底にある論理構造を反映するプロセスを通じて、LMを忠実な多段階推論を行う方法を示す。 我々の手法は、各ステップが2つの微調整されたLMへの呼び出しから得られる推論ステップをチェーンすることで機能する。 我々は,多段階論理推論と科学的質問応答におけるモデルの有効性を実証し,最終的な解答精度のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-30T13:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。