論文の概要: Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models

• arxiv url: http://arxiv.org/abs/2410.13080v1
• Date: Wed, 16 Oct 2024 22:55:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:20:20.343465
• Title: Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models
• Title（参考訳）: グラフ制約推論:大規模言語モデルを用いた知識グラフの忠実推論
• Authors: Linhao Luo, Zicheng Zhao, Chen Gong, Gholamreza Haffari, Shirui Pan,
• Abstract要約: 大規模言語モデル(LLM)は知識ギャップと幻覚のために忠実な推論に苦しむ。 グラフ制約推論(GCR)は、KGにおける構造的知識とLLMにおける非構造的推論を橋渡しする新しいフレームワークである。 GCRは最先端のパフォーマンスを達成し、追加のトレーニングをすることなく、見えないKGに対して強力なゼロショット一般化性を示す。
• 参考スコア（独自算出の注目度）: 83.28737898989694
• License:
• Abstract: Large language models (LLMs) have demonstrated impressive reasoning abilities, but they still struggle with faithful reasoning due to knowledge gaps and hallucinations. To address these issues, knowledge graphs (KGs) have been utilized to enhance LLM reasoning through their structured knowledge. However, existing KG-enhanced methods, either retrieval-based or agent-based, encounter difficulties in accurately retrieving knowledge and efficiently traversing KGs at scale. In this work, we introduce graph-constrained reasoning (GCR), a novel framework that bridges structured knowledge in KGs with unstructured reasoning in LLMs. To eliminate hallucinations, GCR ensures faithful KG-grounded reasoning by integrating KG structure into the LLM decoding process through KG-Trie, a trie-based index that encodes KG reasoning paths. KG-Trie constrains the decoding process, allowing LLMs to directly reason on graphs and generate faithful reasoning paths grounded in KGs. Additionally, GCR leverages a lightweight KG-specialized LLM for graph-constrained reasoning alongside a powerful general LLM for inductive reasoning over multiple reasoning paths, resulting in accurate reasoning with zero reasoning hallucination. Extensive experiments on several KGQA benchmarks demonstrate that GCR achieves state-of-the-art performance and exhibits strong zero-shot generalizability to unseen KGs without additional training.
• Abstract（参考訳）: 大規模言語モデル(LLM)は印象的な推論能力を示してきたが、知識のギャップと幻覚のために忠実な推論に苦慮している。 これらの問題に対処するために、知識グラフ(KG)は構造化知識を通してLLM推論を強化するために利用されてきた。 しかし、既存のKG強化手法は、検索ベースかエージェントベースかのいずれかであり、知識を正確に取得し、KGを大規模に効率的にトラバースすることの難しさに直面する。 本研究では, グラフ制約推論(GCR)を導入し, LLMの非構造化推論とKGの構造化知識を橋渡しする新しいフレームワークを提案する。 幻覚をなくすため、GCRはKG構造をKG推論経路をエンコードするトリエベースのインデックスであるKG-Trieを通じてLLM復号プロセスに統合することで、忠実なKG基底推論を保証する。 KG-Trie は復号過程を制約し、LLM はグラフを直接推論し、KG に接する忠実な推論経路を生成することができる。 さらに、GCRはグラフ制約付き推論に軽量なKG-specialized LLMを、複数の推論経路上の帰納的推論に強力な一般LLMと併用することにより、推論幻覚をゼロとする正確な推論を実現する。 いくつかのKGQAベンチマークの大規模な実験は、GCRが最先端のパフォーマンスを達成し、追加の訓練なしに見えないKGに対して強力なゼロショット一般化性を示すことを示した。

関連論文リスト

• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• Explore then Determine: A GNN-LLM Synergy Framework for Reasoning over Knowledge Graph [38.31983923708175]
  本稿では,知識グラフ(KGQA)に関する質問応答について述べる。 グラフニューラルネットワーク(GNN)とLarge Language Modelsを相乗化してKGを推論するExplore-then-Determine(EtD)フレームワークを提案する。 EtDは最先端のパフォーマンスを達成し、忠実な推論結果を生成する。
  論文  参考訳（メタデータ） (2024-06-03T09:38:28Z)
• KG-RAG: Bridging the Gap Between Knowledge and Creativity [0.0]
  大規模言語モデルエージェント(LMA)は、情報幻覚、破滅的な忘れ込み、長いコンテキストの処理における制限といった問題に直面している。 本稿では,LMAの知識能力を高めるため,KG-RAG (Knowledge Graph-Retrieval Augmented Generation)パイプラインを提案する。 ComplexWebQuestionsデータセットに関する予備実験では、幻覚的コンテンツの削減において顕著な改善が示されている。
  論文  参考訳（メタデータ） (2024-05-20T14:03:05Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning [104.92384929827776]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。 彼らは推論中に最新の知識と幻覚を欠いている。 知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
  論文  参考訳（メタデータ） (2023-10-02T10:14:43Z)
• Retrieve-Rewrite-Answer: A KG-to-Text Enhanced LLMs Framework for Knowledge Graph Question Answering [16.434098552925427]
  本稿では,知識グラフ質問応答(KGQA)課題を解決するために,KG拡張言語モデルアプローチについて検討する。 そこで本研究では,KGの知識をテキスト化された文に変換する,応答に敏感なKG-to-Textアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-20T10:42:08Z)
• ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning [107.61997887260056]
  そこで我々は,知識グラフ上の論理ルールをマイニングするための大規模言語モデルの力を解き放つ新しいフレームワークChatRuleを提案する。 具体的には、このフレームワークは、KGのセマンティック情報と構造情報の両方を活用するLLMベースのルールジェネレータで開始される。 生成されたルールを洗練させるために、ルールランキングモジュールは、既存のKGから事実を取り入れてルール品質を推定する。
  論文  参考訳（メタデータ） (2023-09-04T11:38:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。