論文の概要: Do I have the Knowledge to Answer? Investigating Answerability of
Knowledge Base Questions
- arxiv url: http://arxiv.org/abs/2212.10189v2
- Date: Sat, 24 Jun 2023 11:06:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 00:10:18.410970
- Title: Do I have the Knowledge to Answer? Investigating Answerability of
Knowledge Base Questions
- Title(参考訳): 私には答える知識がありますか。
知識ベース質問の解答可能性の検討
- Authors: Mayur Patidar, Prayushi Faldu, Avinash Singh, Lovekesh Vig, Indrajit
Bhattacharya, Mausam
- Abstract要約: GrailQAbilityは、未解決のKBQAデータセットである。
3つの最先端KBQAモデルを用いて実験したところ、3つのモデル全てが性能低下に悩まされていることがわかった。
このことはKBQAシステムを解答不能に堅牢にするためのさらなる研究の必要性を浮き彫りにしている。
- 参考スコア(独自算出の注目度): 25.13991044303459
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When answering natural language questions over knowledge bases, missing
facts, incomplete schema and limited scope naturally lead to many questions
being unanswerable. While answerability has been explored in other QA settings,
it has not been studied for QA over knowledge bases (KBQA). We create
GrailQAbility, a new benchmark KBQA dataset with unanswerability, by first
identifying various forms of KB incompleteness that make questions
unanswerable, and then systematically adapting GrailQA (a popular KBQA dataset
with only answerable questions). Experimenting with three state-of-the-art KBQA
models, we find that all three models suffer a drop in performance even after
suitable adaptation for unanswerable questions. In addition, these often detect
unanswerability for wrong reasons and find specific forms of unanswerability
particularly difficult to handle. This underscores the need for further
research in making KBQA systems robust to unanswerability
- Abstract(参考訳): 知識ベース、事実の欠如、不完全なスキーマ、限られた範囲に関する自然言語の質問に答えると、自然に多くの疑問が解決できない。
他のQA設定では応答性について検討されているが、知識ベース(KBQA)に関するQAについては研究されていない。
GrailQAbilityは、まずさまざまなKB不完全性を識別し、次に、GrailQA(回答可能な質問のみを備えた人気のKBQAデータセット)を体系的に適応することで、解決不可能な新しいベンチマークKBQAデータセットである。
3つの最先端KBQAモデルを用いて実験したところ、3つのモデルは全て、解決不可能な問題に適応した後でも性能が低下していることが判明した。
さらに、これはしばしば間違った理由で解答不能を検出し、特に解答不能の特定の形態を見つける。
このことはKBQAシステムを解答不能に堅牢にするためのさらなる研究の必要性を浮き彫りにする。
関連論文リスト
- ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question
Answering with Fine-tuned Large Language Models [13.215465389864631]
ChatKBQA は、細調整のオープンソース LLM 上に構築された新規な生成可能なKBQAフレームワークである。
実験結果から,ChatKBQAは標準KBQAデータセット上で新たな最先端性能を実現することがわかった。
論文 参考訳(メタデータ) (2023-10-13T09:45:14Z) - Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。
KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。
具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
論文 参考訳(メタデータ) (2023-10-12T09:12:50Z) - SYGMA: System for Generalizable Modular Question Answering OverKnowledge
Bases [57.89642289610301]
SYGMAは、複数の知識ベースと複数のリアソニングタイプにまたがる汎用化を容易にするモジュラーアプローチである。
本システムの有効性を,DBpediaとWikidataの2つの異なる知識ベースに属するデータセットを用いて評価することで実証する。
論文 参考訳(メタデータ) (2021-09-28T01:57:56Z) - Beyond I.I.D.: Three Levels of Generalization for Question Answering on
Knowledge Bases [63.43418760818188]
GrailQA.comは64,331の質問で、新しい大規模で高品質なデータセットをリリースしました。
BERTベースのKBQAモデルを提案する。
データセットとモデルの組み合わせにより、KBQAの一般化におけるBERTのような事前学習されたコンテキスト埋め込みの重要な役割を、初めて徹底的に検証し、実証することが可能になります。
論文 参考訳(メタデータ) (2020-11-16T06:36:26Z) - Summary-Oriented Question Generation for Informational Queries [23.72999724312676]
主文書のトピックに焦点をあてた自己説明的質問を,適切な長さのパスで答えられるようにすることを目的としている。
本モデルでは,NQデータセット(20.1BLEU-4)上でのSQ生成のSOTA性能を示す。
我々はさらに,本モデルをドメイン外のニュース記事に適用し,ゴールド質問の欠如によるQAシステムによる評価を行い,私たちのモデルがニュース記事に対してより良いSQを生成することを実証し,人間による評価によるさらなる確認を行う。
論文 参考訳(メタデータ) (2020-10-19T17:30:08Z) - A Survey on Complex Question Answering over Knowledge Base: Recent
Advances and Challenges [71.4531144086568]
知識ベース(KB)に対する質問回答(QA)は、自然言語の質問に自動的に答えることを目的としている。
研究者は、よりKBのトリプルと制約推論を必要とする単純な質問から複雑な質問へと注意を移した。
論文 参考訳(メタデータ) (2020-07-26T07:13:32Z) - KQA Pro: A Dataset with Explicit Compositional Programs for Complex
Question Answering over Knowledge Base [67.87878113432723]
複雑KBQAのためのデータセットであるKQA Proを紹介する。
各質問に対して、対応するKoPLプログラムとSPARQLクエリを提供するので、KQA ProはKBQAとセマンティック解析の両方に役立ちます。
論文 参考訳(メタデータ) (2020-07-08T03:28:04Z) - A Complex KBQA System using Multiple Reasoning Paths [42.007327947635595]
マルチホップ知識に基づく質問応答(KBQA)は、自然言語理解のための複雑なタスクである。
本稿では,複数の推論経路の情報を活用するエンド・ツー・エンドKBQAシステムを提案する。
論文 参考訳(メタデータ) (2020-05-22T02:35:42Z) - Faithful Embeddings for Knowledge Base Queries [97.5904298152163]
理想的知識ベース(KB)の帰納的閉包は、KBが答えられる論理的クエリを正確に含んでいる。
実際にはKBは不完全かつ過剰な仕様であり、現実の答えを持つクエリには答えられない。
この新たなQEモジュールをニューラルな質問応答システムに挿入すると、最先端技術よりも大幅に改善されることを示す。
論文 参考訳(メタデータ) (2020-04-07T19:25:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。