論文の概要: CR-LT-KGQA: A Knowledge Graph Question Answering Dataset Requiring
Commonsense Reasoning and Long-Tail Knowledge
- arxiv url: http://arxiv.org/abs/2403.01395v1
- Date: Sun, 3 Mar 2024 04:47:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 21:34:36.054543
- Title: CR-LT-KGQA: A Knowledge Graph Question Answering Dataset Requiring
Commonsense Reasoning and Long-Tail Knowledge
- Title(参考訳): cr-lt-kgqa:コモンセンス推論とロングテール知識を必要とするナレッジグラフ質問応答データセット
- Authors: Willis Guo, Armin Toroghi, Scott Sanner
- Abstract要約: 質問応答とクレーム検証という2つのサブタスクを備えた新しいCommonsense Reasoning(CR)とLong-Tail(LT)KGQAデータセットを作成します。
既存のKGQA法は、コモンセンス推論サポートの欠如により適用できないが、CR-LT KGQA上のLCMのベースライン評価は、幻覚の頻度が高いことを示している。
- 参考スコア(独自算出の注目度): 21.73770363188049
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Knowledge graph question answering (KGQA) is a well-established field that
seeks to provide factual answers to natural language (NL) questions by
leveraging knowledge graphs (KGs). However, existing KGQA datasets suffer from
two significant limitations: (1) no existing KGQA dataset requires commonsense
reasoning to arrive at an answer and (2) existing KGQA datasets focus on
popular entities for which large language models (LLMs) can directly answer
without hallucinating and without leveraging the KG. In this work, we seek a
novel KGQA dataset that supports commonsense reasoning and focuses on long-tail
entities (e.g., non-mainstream and recent entities) where LLMs frequently
hallucinate, and thus create the need for novel methodologies that leverage the
KG for factual and attributable commonsense inference. We create a novel
Commonsense Reasoning (CR) and Long-Tail (LT) KGQA dataset with two subtasks --
question answering and claim verification -- that address both limitations (1)
and (2). We construct CR-LT-KGQA by building extensions to existing reasoning
datasets StrategyQA and CREAK over Wikidata. While existing KGQA methods are
not applicable due to their lack of commonsense inference support, baseline
evaluation of LLMs on CR-LT KGQA demonstrate a high rate of hallucination.
Thus, CR-LT KGQA poses significant challenges for hallucination-prone LLMs,
hence paving the way for future commonsense KGQA research to provide accurate
and factual answers for long-tail entities in the era of LLMs.
- Abstract(参考訳): 知識グラフ質問応答 (KGQA) は、知識グラフ(KGs)を活用して、自然言語(NL)質問に対する現実的な回答を提供するための、確立された分野である。
しかし,既存のKGQAデータセットには,(1)既存のKGQAデータセットが存在しないこと,(2)既存のKGQAデータセットは,幻覚なく,かつKGを活用せずに直接答えられるような一般的なエンティティに焦点を当てていること,の2つの大きな制限がある。
本研究では,コモンセンス推論をサポートする新しいkgqaデータセットを求め,llmが頻繁に幻覚を呈するロングテールエンティティ(非メインストリームや最近のエンティティなど)に焦点を当て,事実的かつ帰属的コモンセンス推論にkgを利用する新しい方法論の必要性を生んでいる。
我々は,2つのサブタスク – 質問応答とクレーム検証 – を備えた新しいCommonsense Reasoning(CR)とLong-Tail(LT)KGQAデータセットを作成し,制限(1)と(2)の両方に対処する。
既存の推論データセットであるStrategyQAとCREAKをWikidata上に拡張してCR-LT-KGQAを構築する。
既存のKGQA法は、コモンセンス推論サポートの欠如により適用できないが、CR-LT KGQA上のLCMのベースライン評価は幻覚の頻度が高いことを示している。
したがって、CR-LT KGQAは幻覚を誘発するLLMにとって重要な課題であり、LLMの時代における長い尾の実体に対する正確かつ現実的な答えを提供するための将来の常識KGQA研究の道を開いた。
関連論文リスト
- Automatic Question-Answer Generation for Long-Tail Knowledge [65.11554185687258]
テールエンティティのための特別なQAデータセットを生成するための自動アプローチを提案する。
我々は,新たに生成された長尾QAデータセットに事前学習したLLMを用いて広範な実験を行う。
論文 参考訳(メタデータ) (2024-03-03T03:06:31Z) - FedCQA: Answering Complex Queries on Multi-Source Knowledge Graphs via
Federated Learning [55.02512821257247]
複雑な論理的問合せ応答は知識グラフ(KG)の課題である
近年、KGエンティティを埋め込みベクトルに表現し、KGからの論理的クエリに対する回答を求める手法が提案されている。
マルチソースKGのクエリにどのように答えるかは、まだ不明である。
論文 参考訳(メタデータ) (2024-02-22T14:57:44Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question
Answering with Fine-tuned Large Language Models [13.215465389864631]
ChatKBQA は、細調整のオープンソース LLM 上に構築された新規な生成可能なKBQAフレームワークである。
実験結果から,ChatKBQAは標準KBQAデータセット上で新たな最先端性能を実現することがわかった。
論文 参考訳(メタデータ) (2023-10-13T09:45:14Z) - Reasoning on Graphs: Faithful and Interpretable Large Language Model
Reasoning [104.92384929827776]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な推論能力を示している。
彼らは推論中に最新の知識と幻覚を欠いている。
知識グラフ(KG)は、推論のための信頼できる知識源を提供する。
論文 参考訳(メタデータ) (2023-10-02T10:14:43Z) - UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question
Answering Over Knowledge Graph [89.98762327725112]
KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。
我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
論文 参考訳(メタデータ) (2022-12-02T04:08:09Z) - NQE: N-ary Query Embedding for Complex Query Answering over
Hyper-Relational Knowledge Graphs [1.415350927301928]
複雑なクエリ応答は知識グラフの論理的推論に不可欠なタスクである。
ハイパーリレーショナル知識グラフ(HKG)上のCQAのための新しいN-ary Query Embedding (NQE)モデルを提案する。
NQEは二元変換器エンコーダとファジィ論理理論を用いて全てのn-ary FOLクエリを満たす。
我々は、WD50K上の多様なn-ary FOLクエリを含む、新しいCQAデータセットWD50K-NFOLを生成する。
論文 参考訳(メタデータ) (2022-11-24T08:26:18Z) - Would You Ask it that Way? Measuring and Improving Question Naturalness
for Knowledge Graph Question Answering [20.779777536841493]
知識グラフ質問応答(KGQA)は、ユーザから正式なクエリ言語専門知識を必要とせず、構造化されたデータを活用することで情報アクセスを容易にする。
我々は,既存のKGQAデータセットから質問を抽出し,自然性の5つの側面について評価することにより,IQN-KGQAテストコレクションを作成する。
より現実的なNL質問の定式化を行うと,いくつかのKGQAシステムはさらに悪化することがわかった。
論文 参考訳(メタデータ) (2022-05-25T13:32:27Z) - Improving Embedded Knowledge Graph Multi-hop Question Answering by
introducing Relational Chain Reasoning [8.05076085499457]
知識ベース質問回答(KBQA)は、トピックエンティティと回答の間の推論を識別することで、知識ベース(KB)からのユーザ要求に答える。
KBQA の複素分岐タスクとして、マルチホップ KGQA は構造化された KG に保存された多重ホップ関係鎖の推論を必要とする。
論文 参考訳(メタデータ) (2021-10-25T06:53:02Z) - QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question
Answering [122.84513233992422]
学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。
既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
論文 参考訳(メタデータ) (2021-04-13T17:32:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。