論文の概要: Do I have the Knowledge to Answer? Investigating Answerability of Knowledge Base Questions

• arxiv url: http://arxiv.org/abs/2212.10189v1
• Date: Tue, 20 Dec 2022 12:00:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 13:51:14.773928
• Title: Do I have the Knowledge to Answer? Investigating Answerability of Knowledge Base Questions
• Title（参考訳）: 私には答える知識がありますか。 知識ベース質問の解答可能性の検討
• Authors: Mayur Patidar, Avinash Singh, Prayushi Faldu, Lovekesh Vig, Indrajit Bhattacharya, Mausam
• Abstract要約: まず、KB不完全性の様々な形態を同定し、その結果、疑問は解決不可能となる。 そして、新しいベンチマークデータセットであるGrailQAbilityを提案し、GrailQAを体系的に修正し、これらの不完全性問題をすべて表現します。 どちらのモデルも、答えがつかない質問を検知したり、間違った理由でそれらを検出するのに苦労している。
• 参考スコア（独自算出の注目度）: 25.13991044303459
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When answering natural language questions over knowledge bases (KBs), incompleteness in the KB can naturally lead to many questions being unanswerable. While answerability has been explored in other QA settings, it has not been studied for QA over knowledge bases (KBQA). We first identify various forms of KB incompleteness that can result in a question being unanswerable. We then propose GrailQAbility, a new benchmark dataset, which systematically modifies GrailQA (a popular KBQA dataset) to represent all these incompleteness issues. Testing two state-of-the-art KBQA models (trained on original GrailQA as well as our GrailQAbility), we find that both models struggle to detect unanswerable questions, or sometimes detect them for the wrong reasons. Consequently, both models suffer significant loss in performance, underscoring the need for further research in making KBQA systems robust to unanswerability.
• Abstract（参考訳）: 知識ベース(kbs)上の自然言語質問に答えると、kbの不完全性は自然に多くの疑問を解き放たれる。 他のQA設定では応答性について検討されているが、知識ベース(KBQA)に関するQAについては研究されていない。 まず、KB不完全性の様々な形態を同定し、疑問は解決不可能となる。 次に、新しいベンチマークデータセットであるGrailQAbilityを提案し、これらの不完全性問題をすべて表現するために、GrailQA(人気のあるKBQAデータセット)を体系的に修正する。 2つの最先端KBQAモデル(オリジナルのGrailQAと私たちのGrailQAbilityでトレーニングされている)をテストすると、どちらのモデルも解決不可能な質問を検出したり、間違った理由で検出するのに苦労していることがわかった。 その結果、どちらのモデルも性能が著しく低下し、KBQAシステムを解答不能に堅牢にするためのさらなる研究の必要性が浮き彫りになった。

関連論文リスト

• Disentangling Knowledge-based and Visual Reasoning by Question Decomposition in KB-VQA [19.6585442152102]
  本稿では,知識に基づく視覚的問合せ問題について検討し,その解を求めるためには,モデルが視覚的モダリティに根ざす必要があることを示した。 我々の研究は、複雑な質問をいくつかの単純な質問に置き換えることで、画像からより関連性の高い情報を抽出できることを示した。
  論文  参考訳（メタデータ） (2024-06-27T02:19:38Z)
• RetinaQA: A Robust Knowledge Base Question Answering Model for both Answerable and Unanswerable Questions [23.73807255464977]
  State-of-the-the-art Knowledge Base Question Answering (KBQA)モデルはすべての質問に答えられると仮定する。 単一KBQAアーキテクチャにおいて2つの重要なアイデアを統一する新しいモデルであるRetinaQAを提案する。 RetinaQAは、解答可能な問題と解答不能な問題の両方を扱う上で、最先端KBQAモデルの適応性を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-03-16T08:08:20Z)
• ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models [19.85526116658481]
  本稿では,新規かつ簡易な生成検索KBQAフレームワークであるChatKBQAを紹介する。 実験の結果,ChatKBQAは標準KBQAデータセット上で新たな最先端性能を実現することがわかった。 この研究は、LLMと知識グラフを組み合わせるための新しいパラダイムとして、解釈可能および知識要求型質問応答のパラダイムと見なすこともできる。
  論文  参考訳（メタデータ） (2023-10-13T09:45:14Z)
• Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
  知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。 KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。 具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
  論文  参考訳（メタデータ） (2023-10-12T09:12:50Z)
• SYGMA: System for Generalizable Modular Question Answering OverKnowledge Bases [57.89642289610301]
  SYGMAは、複数の知識ベースと複数のリアソニングタイプにまたがる汎用化を容易にするモジュラーアプローチである。 本システムの有効性を,DBpediaとWikidataの2つの異なる知識ベースに属するデータセットを用いて評価することで実証する。
  論文  参考訳（メタデータ） (2021-09-28T01:57:56Z)
• Beyond I.I.D.: Three Levels of Generalization for Question Answering on Knowledge Bases [63.43418760818188]
  GrailQA.comは64,331の質問で、新しい大規模で高品質なデータセットをリリースしました。 BERTベースのKBQAモデルを提案する。 データセットとモデルの組み合わせにより、KBQAの一般化におけるBERTのような事前学習されたコンテキスト埋め込みの重要な役割を、初めて徹底的に検証し、実証することが可能になります。
  論文  参考訳（メタデータ） (2020-11-16T06:36:26Z)
• Summary-Oriented Question Generation for Informational Queries [23.72999724312676]
  主文書のトピックに焦点をあてた自己説明的質問を,適切な長さのパスで答えられるようにすることを目的としている。 本モデルでは,NQデータセット(20.1BLEU-4)上でのSQ生成のSOTA性能を示す。 我々はさらに,本モデルをドメイン外のニュース記事に適用し,ゴールド質問の欠如によるQAシステムによる評価を行い,私たちのモデルがニュース記事に対してより良いSQを生成することを実証し,人間による評価によるさらなる確認を行う。
  論文  参考訳（メタデータ） (2020-10-19T17:30:08Z)
• A Survey on Complex Question Answering over Knowledge Base: Recent Advances and Challenges [71.4531144086568]
  知識ベース(KB)に対する質問回答(QA)は、自然言語の質問に自動的に答えることを目的としている。 研究者は、よりKBのトリプルと制約推論を必要とする単純な質問から複雑な質問へと注意を移した。
  論文  参考訳（メタデータ） (2020-07-26T07:13:32Z)
• KQA Pro: A Dataset with Explicit Compositional Programs for Complex Question Answering over Knowledge Base [67.87878113432723]
  複雑KBQAのためのデータセットであるKQA Proを紹介する。 各質問に対して、対応するKoPLプログラムとSPARQLクエリを提供するので、KQA ProはKBQAとセマンティック解析の両方に役立ちます。
  論文  参考訳（メタデータ） (2020-07-08T03:28:04Z)
• Faithful Embeddings for Knowledge Base Queries [97.5904298152163]
  理想的知識ベース(KB)の帰納的閉包は、KBが答えられる論理的クエリを正確に含んでいる。 実際にはKBは不完全かつ過剰な仕様であり、現実の答えを持つクエリには答えられない。 この新たなQEモジュールをニューラルな質問応答システムに挿入すると、最先端技術よりも大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2020-04-07T19:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。