論文の概要: KQA Pro: A Dataset with Explicit Compositional Programs for Complex
Question Answering over Knowledge Base
- arxiv url: http://arxiv.org/abs/2007.03875v4
- Date: Thu, 23 Jun 2022 09:23:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 13:06:29.008792
- Title: KQA Pro: A Dataset with Explicit Compositional Programs for Complex
Question Answering over Knowledge Base
- Title（参考訳）: KQA Pro:知識ベースに関する複雑な質問応答のための明示的な構成プログラムを用いたデータセット
- Authors: Shulin Cao, Jiaxin Shi, Liangming Pan, Lunyiu Nie, Yutong Xiang, Lei
Hou, Juanzi Li, Bin He, Hanwang Zhang
- Abstract要約: 複雑KBQAのためのデータセットであるKQA Proを紹介する。
各質問に対して、対応するKoPLプログラムとSPARQLクエリを提供するので、KQA ProはKBQAとセマンティック解析の両方に役立ちます。
- 参考スコア（独自算出の注目度）: 67.87878113432723
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Complex question answering over knowledge base (Complex KBQA) is challenging
because it requires various compositional reasoning capabilities, such as
multi-hop inference, attribute comparison, set operation. Existing benchmarks
have some shortcomings that limit the development of Complex KBQA: 1) they only
provide QA pairs without explicit reasoning processes; 2) questions are poor in
diversity or scale. To this end, we introduce KQA Pro, a dataset for Complex
KBQA including ~120K diverse natural language questions. We introduce a
compositional and interpretable programming language KoPL to represent the
reasoning process of complex questions. For each question, we provide the
corresponding KoPL program and SPARQL query, so that KQA Pro serves for both
KBQA and semantic parsing tasks. Experimental results show that SOTA KBQA
methods cannot achieve promising results on KQA Pro as on current datasets,
which suggests that KQA Pro is challenging and Complex KBQA requires further
research efforts. We also treat KQA Pro as a diagnostic dataset for testing
multiple reasoning skills, conduct a thorough evaluation of existing models and
discuss further directions for Complex KBQA. Our codes and datasets can be
obtained from https://github.com/shijx12/KQAPro_Baselines.
- Abstract（参考訳）: 知識ベース(複雑KBQA)に対する複雑な質問応答は、マルチホップ推論、属性比較、セット演算など、様々な構成的推論能力を必要とするため困難である。
既存のベンチマークには、複雑なKBQAの開発を制限するいくつかの欠点がある。
1) 明確な推論プロセスなしではQAペアのみを提供する。
2)質問は多様性や規模が乏しい。
そこで我々はKQA Proを紹介した。KQA Proは複雑なKBQAのためのデータセットで、120万の多種多様な自然言語質問を含む。
複雑な質問の推論過程を表現するために,構成的で解釈可能なプログラミング言語KoPLを提案する。
各質問に対して、対応するKoPLプログラムとSPARQLクエリを提供するので、KQA ProはKBQAとセマンティック解析の両方に役立ちます。
実験の結果,SOTA KBQA法は現在のデータセットのようにKQA Pro上で有望な結果を達成できないことが示され,KQA Proは困難であり,複雑なKBQAにはさらなる研究が必要であることが示唆された。
また、複数の推論スキルをテストするための診断データセットとしてKQA Proを扱い、既存のモデルの徹底的な評価を行い、複雑なKBQAのさらなる方向性について議論する。
コードとデータセットはhttps://github.com/shijx12/KQAPro_Baselinesから取得できます。
関連論文リスト
- MarkQA: A large scale KBQA dataset with numerical reasoning [11.072552105311484]
本稿では,マルチホップ推論と数値推論の両方を実行する機能を必要とする新しいタスクNR-KBQAを提案する。
PyQLと呼ばれるPython形式で論理形式を設計し、数値推論問題の推論プロセスを表現する。
我々は、小さな種子から自動的に構築されるMarkQAと呼ばれる大規模なデータセットを提示する。
論文 参考訳（メタデータ） (2023-10-24T04:50:59Z) - Question Decomposition Tree for Answering Complex Questions over
Knowledge Bases [9.723321745919186]
複雑な質問の構造を表す質問分解木(QDT)を提案する。
自然言語生成(NLG)の最近の進歩に触発されて,QDTを生成するためにClue-Decipherと呼ばれる2段階の手法を提案する。
QDTがKBQAタスクを強化することを検証するため、QDTQAと呼ばれる分解ベースのKBQAシステムを設計する。
論文 参考訳（メタデータ） (2023-06-13T07:44:29Z) - Do I have the Knowledge to Answer? Investigating Answerability of
Knowledge Base Questions [25.13991044303459]
GrailQAbilityは、未解決のKBQAデータセットである。
3つの最先端KBQAモデルを用いて実験したところ、3つのモデル全てが性能低下に悩まされていることがわかった。
このことはKBQAシステムを解答不能に堅牢にするためのさらなる研究の必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2022-12-20T12:00:26Z) - RoMQA: A Benchmark for Robust, Multi-evidence, Multi-answer Question
Answering [87.18962441714976]
堅牢でマルチエビデンスな質問応答(QA)のための最初のベンチマークであるRoMQAを紹介します。
我々は、最先端の大規模言語モデルをゼロショット、少数ショット、微調整設定で評価し、RoMQAが難しいことを発見した。
以上の結果から,RoMQAは大規模言語モデルにとって難しいベンチマークであり,より堅牢なQA手法を構築するための定量的なテストを提供する。
論文 参考訳（メタデータ） (2022-10-25T21:39:36Z) - PACIFIC: Towards Proactive Conversational Question Answering over
Tabular and Textual Data in Finance [96.06505049126345]
我々はPACIFICという新しいデータセットを提案する。既存のCQAデータセットと比較すると、PACIFICは(i)活動性、(ii)数値推論、(iii)表とテキストのハイブリッドコンテキストの3つの重要な特徴を示す。
質問生成とCQAを組み合わせたPCQA(Proactive Conversational Question Answering)に基づいて,新しいタスクを定義する。
UniPCQAはPCQAのすべてのサブタスク上でマルチタスク学習を行い、Seeq2Seqの上位$kのサンプルをクロスバリデーションすることで、マルチタスク学習におけるエラー伝搬問題を緩和するための単純なアンサンブル戦略を取り入れている。
論文 参考訳（メタデータ） (2022-10-17T08:06:56Z) - ProQA: Structural Prompt-based Pre-training for Unified Question
Answering [84.59636806421204]
ProQAは統一されたQAパラダイムであり、単一のモデルによって様々なタスクを解決する。
全てのQAタスクの知識一般化を同時にモデル化し、特定のQAタスクの知識カスタマイズを維持します。
ProQAは、フルデータの微調整、数ショットの学習、ゼロショットテストシナリオの両方のパフォーマンスを一貫して向上させる。
論文 参考訳（メタデータ） (2022-05-09T04:59:26Z) - ConditionalQA: A Complex Reading Comprehension Dataset with Conditional
Answers [93.55268936974971]
条件付き回答を含む複雑な質問を含む質問回答データセットについて述べる。
このデータセットを ConditionalQA と呼びます。
本稿では,既存のQAモデルの多く,特に回答条件の選択において,ConditionalQAは困難であることを示す。
論文 参考訳（メタデータ） (2021-10-13T17:16:46Z) - Complex Knowledge Base Question Answering: A Survey [41.680033017518376]
知識ベース質問応答(KBQA)は、知識ベース(KB)に関する質問に答えることを目的としている。
近年、研究者は複雑な疑問に答えることの難しさを考察する新しい手法を多数提案している。
本稿では,複雑なKBQAの手法,すなわち意味解析法(SPベース)と情報検索法(IRベース)の2つの主要なカテゴリについて述べる。
論文 参考訳（メタデータ） (2021-08-15T08:14:54Z) - Generating Diverse and Consistent QA pairs from Contexts with
Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。
我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
論文 参考訳（メタデータ） (2020-05-28T08:26:06Z) - A Complex KBQA System using Multiple Reasoning Paths [42.007327947635595]
マルチホップ知識に基づく質問応答(KBQA)は、自然言語理解のための複雑なタスクである。
本稿では,複数の推論経路の情報を活用するエンド・ツー・エンドKBQAシステムを提案する。
論文 参考訳（メタデータ） (2020-05-22T02:35:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。