論文の概要: Do I have the Knowledge to Answer? Investigating Answerability of Knowledge Base Questions

• arxiv url: http://arxiv.org/abs/2212.10189v2
• Date: Sat, 24 Jun 2023 11:06:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 00:10:18.410970
• Title: Do I have the Knowledge to Answer? Investigating Answerability of Knowledge Base Questions
• Title（参考訳）: 私には答える知識がありますか。 知識ベース質問の解答可能性の検討
• Authors: Mayur Patidar, Prayushi Faldu, Avinash Singh, Lovekesh Vig, Indrajit Bhattacharya, Mausam
• Abstract要約: GrailQAbilityは、未解決のKBQAデータセットである。 3つの最先端KBQAモデルを用いて実験したところ、3つのモデル全てが性能低下に悩まされていることがわかった。 このことはKBQAシステムを解答不能に堅牢にするためのさらなる研究の必要性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 25.13991044303459
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When answering natural language questions over knowledge bases, missing facts, incomplete schema and limited scope naturally lead to many questions being unanswerable. While answerability has been explored in other QA settings, it has not been studied for QA over knowledge bases (KBQA). We create GrailQAbility, a new benchmark KBQA dataset with unanswerability, by first identifying various forms of KB incompleteness that make questions unanswerable, and then systematically adapting GrailQA (a popular KBQA dataset with only answerable questions). Experimenting with three state-of-the-art KBQA models, we find that all three models suffer a drop in performance even after suitable adaptation for unanswerable questions. In addition, these often detect unanswerability for wrong reasons and find specific forms of unanswerability particularly difficult to handle. This underscores the need for further research in making KBQA systems robust to unanswerability
• Abstract（参考訳）: 知識ベース、事実の欠如、不完全なスキーマ、限られた範囲に関する自然言語の質問に答えると、自然に多くの疑問が解決できない。 他のQA設定では応答性について検討されているが、知識ベース(KBQA)に関するQAについては研究されていない。 GrailQAbilityは、まずさまざまなKB不完全性を識別し、次に、GrailQA(回答可能な質問のみを備えた人気のKBQAデータセット)を体系的に適応することで、解決不可能な新しいベンチマークKBQAデータセットである。 3つの最先端KBQAモデルを用いて実験したところ、3つのモデルは全て、解決不可能な問題に適応した後でも性能が低下していることが判明した。 さらに、これはしばしば間違った理由で解答不能を検出し、特に解答不能の特定の形態を見つける。 このことはKBQAシステムを解答不能に堅牢にするためのさらなる研究の必要性を浮き彫りにする。

関連論文リスト

• Disentangling Knowledge-based and Visual Reasoning by Question Decomposition in KB-VQA [19.6585442152102]
  本稿では,知識に基づく視覚的問合せ問題について検討し,その解を求めるためには,モデルが視覚的モダリティに根ざす必要があることを示した。 我々の研究は、複雑な質問をいくつかの単純な質問に置き換えることで、画像からより関連性の高い情報を抽出できることを示した。
  論文  参考訳（メタデータ） (2024-06-27T02:19:38Z)
• RetinaQA: A Robust Knowledge Base Question Answering Model for both Answerable and Unanswerable Questions [23.73807255464977]
  State-of-the-the-art Knowledge Base Question Answering (KBQA)モデルはすべての質問に答えられると仮定する。 単一KBQAアーキテクチャにおいて2つの重要なアイデアを統一する新しいモデルであるRetinaQAを提案する。 RetinaQAは、解答可能な問題と解答不能な問題の両方を扱う上で、最先端KBQAモデルの適応性を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-03-16T08:08:20Z)
• ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models [19.85526116658481]
  本稿では,新規かつ簡易な生成検索KBQAフレームワークであるChatKBQAを紹介する。 実験の結果,ChatKBQAは標準KBQAデータセット上で新たな最先端性能を実現することがわかった。 この研究は、LLMと知識グラフを組み合わせるための新しいパラダイムとして、解釈可能および知識要求型質問応答のパラダイムと見なすこともできる。
  論文  参考訳（メタデータ） (2023-10-13T09:45:14Z)
• Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
  知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。 KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。 具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
  論文  参考訳（メタデータ） (2023-10-12T09:12:50Z)
• SYGMA: System for Generalizable Modular Question Answering OverKnowledge Bases [57.89642289610301]
  SYGMAは、複数の知識ベースと複数のリアソニングタイプにまたがる汎用化を容易にするモジュラーアプローチである。 本システムの有効性を,DBpediaとWikidataの2つの異なる知識ベースに属するデータセットを用いて評価することで実証する。
  論文  参考訳（メタデータ） (2021-09-28T01:57:56Z)
• Beyond I.I.D.: Three Levels of Generalization for Question Answering on Knowledge Bases [63.43418760818188]
  GrailQA.comは64,331の質問で、新しい大規模で高品質なデータセットをリリースしました。 BERTベースのKBQAモデルを提案する。 データセットとモデルの組み合わせにより、KBQAの一般化におけるBERTのような事前学習されたコンテキスト埋め込みの重要な役割を、初めて徹底的に検証し、実証することが可能になります。
  論文  参考訳（メタデータ） (2020-11-16T06:36:26Z)
• Summary-Oriented Question Generation for Informational Queries [23.72999724312676]
  主文書のトピックに焦点をあてた自己説明的質問を,適切な長さのパスで答えられるようにすることを目的としている。 本モデルでは,NQデータセット(20.1BLEU-4)上でのSQ生成のSOTA性能を示す。 我々はさらに,本モデルをドメイン外のニュース記事に適用し,ゴールド質問の欠如によるQAシステムによる評価を行い,私たちのモデルがニュース記事に対してより良いSQを生成することを実証し,人間による評価によるさらなる確認を行う。
  論文  参考訳（メタデータ） (2020-10-19T17:30:08Z)
• A Survey on Complex Question Answering over Knowledge Base: Recent Advances and Challenges [71.4531144086568]
  知識ベース(KB)に対する質問回答(QA)は、自然言語の質問に自動的に答えることを目的としている。 研究者は、よりKBのトリプルと制約推論を必要とする単純な質問から複雑な質問へと注意を移した。
  論文  参考訳（メタデータ） (2020-07-26T07:13:32Z)
• KQA Pro: A Dataset with Explicit Compositional Programs for Complex Question Answering over Knowledge Base [67.87878113432723]
  複雑KBQAのためのデータセットであるKQA Proを紹介する。 各質問に対して、対応するKoPLプログラムとSPARQLクエリを提供するので、KQA ProはKBQAとセマンティック解析の両方に役立ちます。
  論文  参考訳（メタデータ） (2020-07-08T03:28:04Z)
• Faithful Embeddings for Knowledge Base Queries [97.5904298152163]
  理想的知識ベース(KB)の帰納的閉包は、KBが答えられる論理的クエリを正確に含んでいる。 実際にはKBは不完全かつ過剰な仕様であり、現実の答えを持つクエリには答えられない。 この新たなQEモジュールをニューラルな質問応答システムに挿入すると、最先端技術よりも大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2020-04-07T19:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。