論文の概要: Right for Right Reasons: Large Language Models for Verifiable
Commonsense Knowledge Graph Question Answering
- arxiv url: http://arxiv.org/abs/2403.01390v1
- Date: Sun, 3 Mar 2024 04:22:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 21:48:26.726951
- Title: Right for Right Reasons: Large Language Models for Verifiable
Commonsense Knowledge Graph Question Answering
- Title(参考訳): 正しい理由: 検証可能なコモンセンス知識グラフ質問に対する大規模言語モデル
- Authors: Armin Toroghi, Willis Guo, Mohammad Mahdi Abdollah Pour, Scott Sanner
- Abstract要約: 知識グラフ質問回答法(KGQA)は,知識グラフ(KGs)に格納された関係情報を用いて自然言語の質問に答えようとする方法である。
近年のLarge Language Models(LLM)の進歩と、その顕著な推論能力により、KGQAにそれらを活用する傾向が高まっている。
検証可能な推論手順を可能にする共通知識KGQA手法であるRight for Right Reasons (R3)を提案する。
- 参考スコア(独自算出の注目度): 20.1946576623729
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Knowledge Graph Question Answering (KGQA) methods seek to answer Natural
Language questions using the relational information stored in Knowledge Graphs
(KGs). With the recent advancements of Large Language Models (LLMs) and their
remarkable reasoning abilities, there is a growing trend to leverage them for
KGQA. However, existing methodologies have only focused on answering factual
questions, e.g., "In which city was Silvio Berlusconi's first wife born?",
leaving questions involving commonsense reasoning that real-world users may
pose more often, e.g., "Do I need separate visas to see the Venus of Willendorf
and attend the Olympics this summer?" unaddressed. In this work, we first
observe that existing LLM-based methods for KGQA struggle with hallucination on
such questions, especially on queries targeting long-tail entities (e.g.,
non-mainstream and recent entities), thus hindering their applicability in
real-world applications especially since their reasoning processes are not
easily verifiable. In response, we propose Right for Right Reasons (R3), a
commonsense KGQA methodology that allows for a verifiable reasoning procedure
by axiomatically surfacing intrinsic commonsense knowledge of LLMs and
grounding every factual reasoning step on KG triples. Through experimental
evaluations across three different tasks--question answering, claim
verification, and preference matching--our findings showcase R3 as a superior
approach, outperforming existing methodologies and notably reducing instances
of hallucination and reasoning errors.
- Abstract(参考訳): 知識グラフ質問回答法(KGQA)は,知識グラフに格納された関係情報を用いて自然言語の質問に答えようとする手法である。
近年のLarge Language Models(LLM)の進歩と、その顕著な推論能力により、KGQAにそれらを活用する傾向が高まっている。
しかし、既存の方法論は「シルヴィオ・ベルルスコーニ(silvio berlusconi)の最初の妻はどの都市で生まれたのか?」といった事実的な問いにのみ答えることに焦点を当てており、コモンセンスに関する質問は、現実世界の利用者がより頻繁にポーズを取る可能性があることを示唆している。
本稿では,KGQA の既存の LLM ベースの手法が,特にロングテールエンティティ(例えば,非メインストリームや最近のエンティティ)をターゲットとしたクエリにおいて,このような質問に対する幻覚に苦しむのを最初に観察する。
そこで我々は,LLMの内在的コモンセンス知識を公理的に覆い,KG三重項上のすべての事実的推論ステップを根拠にすることで,検証可能な推論手順を可能にする共通感覚KGQA手法であるRight for Right Reasons (R3)を提案する。
質問応答,クレーム検証,選好マッチングという3つのタスクに対する実験的な評価により,R3は優れたアプローチであり,既存の手法よりも優れ,幻覚や推論エラーの事例が顕著に減少していることが明らかになった。
関連論文リスト
- Probabilistic Tree-of-thought Reasoning for Answering
Knowledge-intensive Complex Questions [93.40614719648386]
大規模言語モデル(LLM)は、知識集約的な複雑な質問にチェーン・オブ・シント(CoT)推論で答えることができる。
最近の研究は、CoT推論を強化するための外部知識の回収に向けられている。
確率的ツリー・オブ・シント推論(ProbTree)という新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-11-23T12:52:37Z) - Reasoning on Graphs: Faithful and Interpretable Large Language Model
Reasoning [104.92384929827776]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。
彼らは推論中に最新の知識と幻覚を欠いている。
知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
論文 参考訳(メタデータ) (2023-10-02T10:14:43Z) - Graph Reasoning for Question Answering with Triplet Retrieval [33.454090126152714]
知識グラフ(KGs)から最も関連性の高い三つ子を抽出する簡便で効果的な方法を提案する。
我々の手法は最先端の精度を4.6%まで上回ることができる。
論文 参考訳(メタデータ) (2023-05-30T04:46:28Z) - Multi-hop Commonsense Knowledge Injection Framework for Zero-Shot
Commonsense Question Answering [6.086719709100659]
本稿では,新しいマルチホップコモンセンス知識注入フレームワークを提案する。
本フレームワークは,5つの共通知識質問応答ベンチマークにおいて,最先端性能を実現する。
論文 参考訳(メタデータ) (2023-05-10T07:13:47Z) - Search-in-the-Chain: Interactively Enhancing Large Language Models with
Search for Knowledge-intensive Tasks [121.74957524305283]
本稿では、情報検索(IR)とLarge Language Model(LLM)のインタラクションのための、textbfSearch-in-the-Chain(SearChain)という新しいフレームワークを提案する。
実験の結果、SearChainは複雑な知識集約タスクにおける最先端のベースラインを上回っていることがわかった。
論文 参考訳(メタデータ) (2023-04-28T10:15:25Z) - Language Models are Causal Knowledge Extractors for Zero-shot Video
Question Answering [60.93164850492871]
Causal Video Question Answering (CVidQA)は、関連性や時間的関係だけでなく、ビデオ内の因果関係も問う。
本稿では,言語モデルからの因果共通知識を利用してCVidQAに取り組む,CaKE-LM(Causal Knowledge extract from Language Models)を提案する。
CaKE-LMは、NExT-QAおよびCausal-VidQAデータセットにおいて、ゼロショットCVidQAの精度の4%から6%で従来の手法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2023-04-07T17:45:49Z) - TSGP: Two-Stage Generative Prompting for Unsupervised Commonsense
Question Answering [4.965306353273393]
教師なしのコモンセンス質問応答には、ラベル付きタスクデータに頼らずに効果的なコモンセンス知識をマイニングする必要がある。
2段階のプロンプトに基づく教師なしコモンセンス質問応答フレームワーク(TSGP)を提案する。
CommonsenseQA、OpenBookQA、SocialIQAの3つの異なる共通センス推論タスクに関する実験結果と分析により、TSGPは教師なし設定における言語モデルの推論能力を大幅に改善することを示した。
論文 参考訳(メタデータ) (2022-11-24T10:19:24Z) - WikiWhy: Answering and Explaining Cause-and-Effect Questions [62.60993594814305]
自然言語で答えが正しい理由を説明するために構築されたQAデータセットであるWikiWhyを紹介する。
WikiWhyには、ウィキペディアのさまざまなトピックの事実に基づいて、9000以上の「なぜ」質問回答の3つ組が含まれている。
GPT-3ベースラインは、エンドツーエンドの回答と説明条件において、人間の評価された正しさを38.7%しか達成していない。
論文 参考訳(メタデータ) (2022-10-21T17:59:03Z) - QAGCN: Answering Multi-Relation Questions via Single-Step Implicit
Reasoning over Knowledge Graphs [13.496565392976292]
複数関係質問応答は、一段階の暗黙的推論によって実現できると論じる。
本稿では,新しいGCNアーキテクチャを含む質問対応グラフ畳み込みネットワーク(GCN)に基づくQAGCNを提案する。
論文 参考訳(メタデータ) (2022-06-03T21:01:48Z) - GreaseLM: Graph REASoning Enhanced Language Models for Question
Answering [159.9645181522436]
GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。
GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
論文 参考訳(メタデータ) (2022-01-21T19:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。