論文の概要: CR-LT-KGQA: A Knowledge Graph Question Answering Dataset Requiring Commonsense Reasoning and Long-Tail Knowledge

• arxiv url: http://arxiv.org/abs/2403.01395v1
• Date: Sun, 3 Mar 2024 04:47:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 21:34:36.054543
• Title: CR-LT-KGQA: A Knowledge Graph Question Answering Dataset Requiring Commonsense Reasoning and Long-Tail Knowledge
• Title（参考訳）: cr-lt-kgqa:コモンセンス推論とロングテール知識を必要とするナレッジグラフ質問応答データセット
• Authors: Willis Guo, Armin Toroghi, Scott Sanner
• Abstract要約: 質問応答とクレーム検証という2つのサブタスクを備えた新しいCommonsense Reasoning(CR)とLong-Tail(LT)KGQAデータセットを作成します。 既存のKGQA法は、コモンセンス推論サポートの欠如により適用できないが、CR-LT KGQA上のLCMのベースライン評価は、幻覚の頻度が高いことを示している。
• 参考スコア（独自算出の注目度）: 21.73770363188049
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Knowledge graph question answering (KGQA) is a well-established field that seeks to provide factual answers to natural language (NL) questions by leveraging knowledge graphs (KGs). However, existing KGQA datasets suffer from two significant limitations: (1) no existing KGQA dataset requires commonsense reasoning to arrive at an answer and (2) existing KGQA datasets focus on popular entities for which large language models (LLMs) can directly answer without hallucinating and without leveraging the KG. In this work, we seek a novel KGQA dataset that supports commonsense reasoning and focuses on long-tail entities (e.g., non-mainstream and recent entities) where LLMs frequently hallucinate, and thus create the need for novel methodologies that leverage the KG for factual and attributable commonsense inference. We create a novel Commonsense Reasoning (CR) and Long-Tail (LT) KGQA dataset with two subtasks -- question answering and claim verification -- that address both limitations (1) and (2). We construct CR-LT-KGQA by building extensions to existing reasoning datasets StrategyQA and CREAK over Wikidata. While existing KGQA methods are not applicable due to their lack of commonsense inference support, baseline evaluation of LLMs on CR-LT KGQA demonstrate a high rate of hallucination. Thus, CR-LT KGQA poses significant challenges for hallucination-prone LLMs, hence paving the way for future commonsense KGQA research to provide accurate and factual answers for long-tail entities in the era of LLMs.
• Abstract（参考訳）: 知識グラフ質問応答 (KGQA) は、知識グラフ(KGs)を活用して、自然言語(NL)質問に対する現実的な回答を提供するための、確立された分野である。 しかし,既存のKGQAデータセットには,(1)既存のKGQAデータセットが存在しないこと,(2)既存のKGQAデータセットは,幻覚なく,かつKGを活用せずに直接答えられるような一般的なエンティティに焦点を当てていること,の2つの大きな制限がある。 本研究では,コモンセンス推論をサポートする新しいkgqaデータセットを求め,llmが頻繁に幻覚を呈するロングテールエンティティ(非メインストリームや最近のエンティティなど)に焦点を当て,事実的かつ帰属的コモンセンス推論にkgを利用する新しい方法論の必要性を生んでいる。 我々は,2つのサブタスク – 質問応答とクレーム検証 – を備えた新しいCommonsense Reasoning(CR)とLong-Tail(LT)KGQAデータセットを作成し,制限(1)と(2)の両方に対処する。 既存の推論データセットであるStrategyQAとCREAKをWikidata上に拡張してCR-LT-KGQAを構築する。 既存のKGQA法は、コモンセンス推論サポートの欠如により適用できないが、CR-LT KGQA上のLCMのベースライン評価は幻覚の頻度が高いことを示している。 したがって、CR-LT KGQAは幻覚を誘発するLLMにとって重要な課題であり、LLMの時代における長い尾の実体に対する正確かつ現実的な答えを提供するための将来の常識KGQA研究の道を開いた。

関連論文リスト

• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• LinkQ: An LLM-Assisted Visual Interface for Knowledge Graph Question-Answering [1.5238808518078564]
  LinkQは,大規模言語モデル(LLM)を活用して,自然言語質問応答による知識グラフ(KG)クエリ構築を容易にするシステムである。 以上の結果から,KG質問応答にLinkQが有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-07T15:28:31Z)
• Retrieval-Augmented Language Model for Extreme Multi-Label Knowledge Graph Link Prediction [2.6749568255705656]
  大規模言語モデル(LLM)における開放的調査のための外挿は2つの重要な問題に遭遇する。 既存の作業は、知識グラフからの情報により、より小さな言語モデルの入力を増大させることによって、この問題に対処しようとするものである。 我々は,モデルが複数の応答で外挿を行うことを可能にするために,新たなタスク,極端なマルチラベルKGリンク予測タスクを提案する。
  論文  参考訳（メタデータ） (2024-05-21T10:10:56Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Automatic Question-Answer Generation for Long-Tail Knowledge [65.11554185687258]
  テールエンティティのための特別なQAデータセットを生成するための自動アプローチを提案する。 我々は,新たに生成された長尾QAデータセットに事前学習したLLMを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-03-03T03:06:31Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Improving Embedded Knowledge Graph Multi-hop Question Answering by introducing Relational Chain Reasoning [8.05076085499457]
  知識ベース質問回答(KBQA)は、トピックエンティティと回答の間の推論を識別することで、知識ベース(KB)からのユーザ要求に答える。 KBQA の複素分岐タスクとして、マルチホップ KGQA は構造化された KG に保存された多重ホップ関係鎖の推論を必要とする。
  論文  参考訳（メタデータ） (2021-10-25T06:53:02Z)
• QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering [122.84513233992422]
  学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。 既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
  論文  参考訳（メタデータ） (2021-04-13T17:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。