論文の概要: Right for Right Reasons: Large Language Models for Verifiable Commonsense Knowledge Graph Question Answering

• arxiv url: http://arxiv.org/abs/2403.01390v2
• Date: Fri, 11 Oct 2024 02:55:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:28:49.352993
• Title: Right for Right Reasons: Large Language Models for Verifiable Commonsense Knowledge Graph Question Answering
• Title（参考訳）: 正しい理由のための権利: 検証可能なコモンセンス知識グラフ質問に対する大規模言語モデル
• Authors: Armin Toroghi, Willis Guo, Mohammad Mahdi Abdollah Pour, Scott Sanner,
• Abstract要約: 知識グラフ質問回答法(KGQA)は,知識グラフ(KGs)に格納された関係情報を用いて自然言語の質問に答えようとする方法である。 近年のLarge Language Models(LLM)の進歩と、その顕著な推論能力により、KGQAにそれらを活用する傾向が高まっている。 検証可能な推論手順を可能にする共通知識KGQA手法であるRight for Right Reasons (R3)を提案する。
• 参考スコア（独自算出の注目度）: 18.48602809114524
• License:
• Abstract: Knowledge Graph Question Answering (KGQA) methods seek to answer Natural Language questions using the relational information stored in Knowledge Graphs (KGs). With the recent advancements of Large Language Models (LLMs) and their remarkable reasoning abilities, there is a growing trend to leverage them for KGQA. However, existing methodologies have only focused on answering factual questions, e.g., "In which city was Silvio Berlusconi's first wife born?", leaving questions involving commonsense reasoning that real-world users may pose more often, e.g., "Do I need separate visas to see the Venus of Willendorf and attend the Olympics this summer?" unaddressed. In this work, we first observe that existing LLM-based methods for KGQA struggle with hallucination on such questions, especially on queries targeting long-tail entities (e.g., non-mainstream and recent entities), thus hindering their applicability in real-world applications especially since their reasoning processes are not easily verifiable. In response, we propose Right for Right Reasons (R3), a commonsense KGQA methodology that allows for a verifiable reasoning procedure by axiomatically surfacing intrinsic commonsense knowledge of LLMs and grounding every factual reasoning step on KG triples. Through experimental evaluations across three different tasks--question answering, claim verification, and preference matching--our findings showcase R3 as a superior approach, outperforming existing methodologies and notably reducing instances of hallucination and reasoning errors.
• Abstract（参考訳）: 知識グラフ質問回答法(KGQA)は,知識グラフに格納された関係情報を用いて自然言語の質問に答えようとする手法である。 近年のLarge Language Models(LLM)の進歩と、その顕著な推論能力により、KGQAにそれらを活用する傾向が高まっている。 しかし、既存の方法論では、例えば「どの都市がシルヴィオ・ベルルスコーニの最初の妻だったのか?」といった事実的な問いにのみ答えることにのみ焦点をあてており、現実世界のユーザーはより頻繁に、例えば「この夏にウィレンドルフのヴィーナスを見てオリンピックに出席するために別個のビザが必要であるか?」といった常識的な推論を含む疑問を残している。 本稿では,KGQA の既存の LLM ベースの手法が,特にロングテールエンティティ(例えば,非メインストリーム,最近のエンティティ)をターゲットとしたクエリにおいて,このような質問に対する幻覚に苦しむのを最初に観察する。 そこで我々は,LLMの内在的コモンセンス知識を公理的に覆い,KG三重項上のすべての事実的推論ステップを根拠にすることで,検証可能な推論手順を可能にする共通理解的KGQA手法であるRight for Right Reasons (R3)を提案する。 質問応答,クレーム検証,選好マッチングという3つのタスクに対する実験的な評価により,R3は優れたアプローチであり,既存の手法よりも優れ,幻覚や推論エラーの事例が顕著に減少していることが明らかになった。

関連論文リスト

• Debate on Graph: a Flexible and Reliable Reasoning Framework for Large Language Models [33.662269036173456]
  大規模言語モデル(LLM)は、関連する知識の欠如により、現実世界の応用において幻覚に悩まされることがある。 KGQA(Knowledge Graph Question Answering)は、統合のための重要な手掛かりとなる。 LLMの対話型学習機能を活用してグラフ上での推論と議論を行う対話型KGQAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-05T01:11:58Z)
• Evidence-Enhanced Triplet Generation Framework for Hallucination Alleviation in Generative Question Answering [41.990482015732574]
  本稿では,三重項(クエスト,エビデンス,アンスワー)の組合せを予測するための新しいエビデンス強化三重項生成フレームワークであるEATQAを提案する。 推測段階における証拠から知識を抽出するために,分布ギャップを橋渡しする。 我々のフレームワークは,クエリとエビデンスと応答の間の論理的関係を学習し,同時にエビデンス生成とクエリ応答を改善する。
  論文  参考訳（メタデータ） (2024-08-27T13:07:07Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Logic Query of Thoughts: Guiding Large Language Models to Answer Complex Logic Queries with Knowledge Graphs [102.37496443389203]
  LGOT(Logic-Query-of-Thoughts)は知識グラフ推論と大規模言語モデルを組み合わせた最初の方法である。 実験の結果,ChatGPTよりも20%向上した。
  論文  参考訳（メタデータ） (2024-03-17T17:01:45Z)
• Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasoning [104.92384929827776]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。 彼らは推論中に最新の知識と幻覚を欠いている。 知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
  論文  参考訳（メタデータ） (2023-10-02T10:14:43Z)
• Graph Reasoning for Question Answering with Triplet Retrieval [33.454090126152714]
  知識グラフ(KGs)から最も関連性の高い三つ子を抽出する簡便で効果的な方法を提案する。 我々の手法は最先端の精度を4.6%まで上回ることができる。
  論文  参考訳（メタデータ） (2023-05-30T04:46:28Z)
• Multi-hop Commonsense Knowledge Injection Framework for Zero-Shot Commonsense Question Answering [6.086719709100659]
  本稿では,新しいマルチホップコモンセンス知識注入フレームワークを提案する。 本フレームワークは,5つの共通知識質問応答ベンチマークにおいて,最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-05-10T07:13:47Z)
• Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensive Tasks [121.74957524305283]
  本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。 実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-28T10:15:25Z)
• WikiWhy: Answering and Explaining Cause-and-Effect Questions [62.60993594814305]
  自然言語で答えが正しい理由を説明するために構築されたQAデータセットであるWikiWhyを紹介する。 WikiWhyには、ウィキペディアのさまざまなトピックの事実に基づいて、9000以上の「なぜ」質問回答の3つ組が含まれている。 GPT-3ベースラインは、エンドツーエンドの回答と説明条件において、人間の評価された正しさを38.7%しか達成していない。
  論文  参考訳（メタデータ） (2022-10-21T17:59:03Z)
• GreaseLM: Graph REASoning Enhanced Language Models for Question Answering [159.9645181522436]
  GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
  論文  参考訳（メタデータ） (2022-01-21T19:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。