論文の概要: Logic Query of Thoughts: Guiding Large Language Models to Answer Complex Logic Queries with Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2404.04264v2
• Date: Sat, 13 Apr 2024 15:14:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 19:50:54.809376
• Title: Logic Query of Thoughts: Guiding Large Language Models to Answer Complex Logic Queries with Knowledge Graphs
• Title（参考訳）: 思考の論理的問合せ:知識グラフを用いた複雑な論理的クエリに対する大規模言語モデルの適用
• Authors: Lihui Liu, Zihao Wang, Ruizhong Qiu, Yikun Ban, Eunice Chan, Yangqiu Song, Jingrui He, Hanghang Tong,
• Abstract要約: LGOT(Logic-Query-of-Thoughts)は知識グラフ推論と大規模言語モデルを組み合わせた最初の方法である。 実験の結果,ChatGPTよりも20%向上した。
• 参考スコア（独自算出の注目度）: 102.37496443389203
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite the superb performance in many tasks, large language models (LLMs) bear the risk of generating hallucination or even wrong answers when confronted with tasks that demand the accuracy of knowledge. The issue becomes even more noticeable when addressing logic queries that require multiple logic reasoning steps. On the other hand, knowledge graph (KG) based question answering methods are capable of accurately identifying the correct answers with the help of knowledge graph, yet its accuracy could quickly deteriorate when the knowledge graph itself is sparse and incomplete. It remains a critical challenge on how to integrate knowledge graph reasoning with LLMs in a mutually beneficial way so as to mitigate both the hallucination problem of LLMs as well as the incompleteness issue of knowledge graphs. In this paper, we propose 'Logic-Query-of-Thoughts' (LGOT) which is the first of its kind to combine LLMs with knowledge graph based logic query reasoning. LGOT seamlessly combines knowledge graph reasoning and LLMs, effectively breaking down complex logic queries into easy to answer subquestions. Through the utilization of both knowledge graph reasoning and LLMs, it successfully derives answers for each subquestion. By aggregating these results and selecting the highest quality candidate answers for each step, LGOT achieves accurate results to complex questions. Our experimental findings demonstrate substantial performance enhancements, with up to 20% improvement over ChatGPT.
• Abstract（参考訳）: 多くのタスクにおける最高のパフォーマンスにもかかわらず、大きな言語モデル(LLM)は、知識の正確さを要求するタスクに直面したときに、幻覚や誤った回答を引き起こすリスクを負う。 問題は、複数の論理推論ステップを必要とするロジッククエリに対処するときにさらに顕著になる。 一方、知識グラフに基づく質問応答法では、知識グラフの助けを借りて正しい回答を正確に識別することができるが、知識グラフ自体が疎結合で不完全である場合には、その精度は急速に低下する可能性がある。 LLMの幻覚問題と知識グラフの不完全性問題を緩和するために、LLMの知識グラフ推論を相互に有益な方法で統合する方法は、依然として重要な課題である。 本稿では,LSMと知識グラフに基づく論理クエリ推論を組み合わせた最初の手法として,LGOT(Logic-Query-of-Thoughts)を提案する。 LGOTは知識グラフ推論とLLMをシームレスに組み合わせ、複雑な論理クエリを効果的に分割して、要求に答えやすくする。 知識グラフ推論とLLMの両方を利用して、各サブクエストに対する回答を導出する。 これらの結果を集約し、各ステップごとの最高品質候補回答を選択することで、LGOTは複雑な質問に対して正確な結果を得る。 実験の結果,ChatGPTよりも20%向上した。

関連論文リスト

• On Memorization of Large Language Models in Logical Reasoning [70.94164038947078]
  大きな言語モデル(LLM)は、挑戦的な推論ベンチマークで優れたパフォーマンスを達成するが、基本的な推論ミスを発生させることもできる。 1つの仮説は、より高度でほぼ飽和した性能は、類似した問題の記憶が原因ではないかというものである。 微調整は暗記を重くするが,常に一般化性能を向上することを示す。
  論文  参考訳（メタデータ） (2024-10-30T15:31:54Z)
• Graph Reasoning with Large Language Models via Pseudo-code Prompting [25.469214467011362]
  本稿では,グラフ問題の解法において,擬似コード命令によるプロンプトが大規模言語モデル(LLM)の性能を向上させるか否かを検討する。 実験により, 疑似符号命令を用いることで, 一般にLLMの性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-09-26T14:52:40Z)
• Debate on Graph: a Flexible and Reliable Reasoning Framework for Large Language Models [33.662269036173456]
  大規模言語モデル(LLM)は、関連する知識の欠如により、現実世界の応用において幻覚に悩まされることがある。 KGQA(Knowledge Graph Question Answering)は、統合のための重要な手掛かりとなる。 LLMの対話型学習機能を活用してグラフ上での推論と議論を行う対話型KGQAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-05T01:11:58Z)
• Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
  大規模言語モデル(LLM)のグラフ推論能力に着目する。 グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。 この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-18T16:26:39Z)
• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。 任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。 広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• On Exploring the Reasoning Capability of Large Language Models with Knowledge Graphs [11.878708460150726]
  学習前の知識グラフからの情報をリコールする際のLLMの精度について2つの研究質問を定式化する。 これらの問題に対処するため,LLMを用いて4つの知識グラフ推論タスクを実行する。 実験の結果, LLMは, 単純かつ複雑な知識グラフ推論タスクを自身のメモリから処理できることがわかった。
  論文  参考訳（メタデータ） (2023-12-01T05:08:47Z)
• Language Models can be Logical Solvers [99.40649402395725]
  論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。 LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2023-11-10T16:23:50Z)
• Can Language Models Solve Graph Problems in Natural Language? [51.28850846990929]
  大型言語モデル (LLM) は暗黙的なグラフィカル構造を持つ様々なタスクに採用されている。 自然言語をシミュレーションするグラフベース問題解決のベンチマークであるNLGraphを提案する。
  論文  参考訳（メタデータ） (2023-05-17T08:29:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。