論文の概要: Constructing A Multi-hop QA Dataset for Comprehensive Evaluation of
Reasoning Steps
- arxiv url: http://arxiv.org/abs/2011.01060v2
- Date: Thu, 12 Nov 2020 07:47:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 11:55:47.717154
- Title: Constructing A Multi-hop QA Dataset for Comprehensive Evaluation of
Reasoning Steps
- Title（参考訳）: 推論ステップの総合評価のためのマルチホップQAデータセットの構築
- Authors: Xanh Ho, Anh-Khoa Duong Nguyen, Saku Sugawara and Akiko Aizawa
- Abstract要約: マルチホップ質問応答データセットは、モデルが与えられた質問に答えるために複数の段落を読むことを要求することにより、推論と推論のスキルをテストすることを目的としている。
これまでの研究では、既存のマルチホップデータセットの多くの例は、質問に答えるためにマルチホップ推論を必要としないことが判明した。
構造化データと非構造化データを利用する2WikiMultiHopQAと呼ばれる新しいマルチホップQAデータセットを提案する。
- 参考スコア（独自算出の注目度）: 31.472490306390977
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A multi-hop question answering (QA) dataset aims to test reasoning and
inference skills by requiring a model to read multiple paragraphs to answer a
given question. However, current datasets do not provide a complete explanation
for the reasoning process from the question to the answer. Further, previous
studies revealed that many examples in existing multi-hop datasets do not
require multi-hop reasoning to answer a question. In this study, we present a
new multi-hop QA dataset, called 2WikiMultiHopQA, which uses structured and
unstructured data. In our dataset, we introduce the evidence information
containing a reasoning path for multi-hop questions. The evidence information
has two benefits: (i) providing a comprehensive explanation for predictions and
(ii) evaluating the reasoning skills of a model. We carefully design a pipeline
and a set of templates when generating a question-answer pair that guarantees
the multi-hop steps and the quality of the questions. We also exploit the
structured format in Wikidata and use logical rules to create questions that
are natural but still require multi-hop reasoning. Through experiments, we
demonstrate that our dataset is challenging for multi-hop models and it ensures
that multi-hop reasoning is required.
- Abstract（参考訳）: マルチホップ質問応答(Multi-hop question answering, QA)データセットは、モデルが与えられた疑問に答えるために複数の段落を読むことを要求することにより、推論と推論のスキルをテストすることを目的としている。
しかし、現在のデータセットは、質問から回答まで、推論プロセスの完全な説明を提供していない。
さらに、既存のマルチホップデータセットの多くの例は、質問に答えるためにマルチホップ推論を必要としないことが明らかとなった。
本研究では,構造化および非構造化データを用いた2WikiMultiHopQAと呼ばれるマルチホップQAデータセットを提案する。
本データセットでは,マルチホップ質問に対する推論経路を含む証拠情報を紹介する。
証拠情報には2つの利点があります
(i)予測の包括的説明を提供する
(ii)モデルの推論能力を評価すること。
マルチホップステップと質問の品質を保証する質問応答ペアを生成する際に,パイプラインとテンプレートセットを慎重に設計する。
また、Wikidataの構造化フォーマットを利用して、論理ルールを使って、自然だがマルチホップ推論を必要とする質問を生成する。
実験を通じて,マルチホップモデルではデータセットが困難であること,マルチホップ推論が必要であることを実証する。
関連論文リスト
- MoreHopQA: More Than Multi-hop Reasoning [32.94332511203639]
提案するマルチホップデータセットであるMoreHopQAは,抽出結果から生成結果へシフトする。
我々のデータセットは,HotpotQA,2WikiMultihopQA,MuSiQueの3つの既存のマルチホップデータセットを利用して作成されている。
この結果から,初期のマルチホップ質問ではモデルの性能は良好であったが,拡張された質問では困難であった。
論文 参考訳（メタデータ） (2024-06-19T09:38:59Z) - Explainable Multi-hop Question Generation: An End-to-End Approach without Intermediate Question Labeling [6.635572580071933]
マルチホップ質問生成は、複数の文書に対して多段階の推論を必要とする複雑な質問を生成することを目的としている。
従来の研究では、コンテキスト文書の表現に基づいて質問をデコードするエンド・ツー・エンド・モデルが主流であった。
本稿では,逐次書き直しによる質問の複雑さを増大させるエンドツーエンドの質問書き直しモデルを提案する。
論文 参考訳（メタデータ） (2024-03-31T06:03:54Z) - How Well Do Multi-hop Reading Comprehension Models Understand Date
Information? [31.243088887839257]
比較問題に対する解答を見つける際に、複数のホップモデルがステップバイステップの推論を行う能力は、まだ不明である。
また、内部推論プロセスに関する質問が、質問応答システム(QA)のトレーニングや評価にどのように役立つかは、不明である。
論文 参考訳（メタデータ） (2022-10-11T07:24:07Z) - Understanding and Improving Zero-shot Multi-hop Reasoning in Generative
Question Answering [85.79940770146557]
マルチホップ質問を複数の単一ホップ質問に分解する。
これらの対の見かけ上同一の問合せ連鎖について、QAモデルの答えに顕著な矛盾が認められる。
シングルホップの質問だけを訓練すると、モデルはマルチホップの質問に対してあまり一般化しない。
論文 参考訳（メタデータ） (2022-10-09T11:48:07Z) - Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question
Answering [71.49131159045811]
マルチホップ推論では、複雑な質問に答えるために複数の文書を集約する必要がある。
既存の方法は通常、マルチホップの質問を単純なシングルホップの質問に分解する。
そこで本研究では,単一ホップ支援文識別と単一ホップ質問生成の両方を組み込む,解釈可能な段階的推論フレームワークを提案する。
論文 参考訳（メタデータ） (2022-08-22T13:24:25Z) - Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
本稿では,単純な生成手法(PathFid)を提案する。
PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。
実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
論文 参考訳（メタデータ） (2022-05-18T21:57:59Z) - MuSiQue: Multi-hop Questions via Single-hop Question Composition [36.84063888323547]
マルチホップ質問を単一ホップ質問の合成として構築することにより,結果のマルチホップ質問の品質をよりよく制御することができる。
このプロセスを使用して、新しいマルチホップQAデータセットを構築する。 MuSiQue-Ans with 25K 2-4 ホップ質問。
論文 参考訳（メタデータ） (2021-08-02T00:33:27Z) - Unsupervised Multi-hop Question Answering by Question Generation [108.61653629883753]
MQA-QGは、人間のようなマルチホップトレーニングデータを生成する、教師なしのフレームワークである。
生成された学習データのみを用いて、教師付き学習性能の61%と83%を達成できる有能なマルチホップQAを訓練することができる。
論文 参考訳（メタデータ） (2020-10-23T19:13:47Z) - Multi-hop Question Generation with Graph Convolutional Network [58.31752179830959]
マルチホップ質問生成(Multi-hop Question Generation, QG)は,異なる段落から散在する複数の証拠を集約・推論することで,回答に関連する質問を生成することを目的とする。
複数のホップでコンテキストエンコーディングを行うMulQG(Multi-Hop volution Fusion Network for Question Generation)を提案する。
提案モデルでは,高い完全性を有する流動的な質問を生成することができ,マルチホップ評価において,最強のベースラインを20.8%向上させることができる。
論文 参考訳（メタデータ） (2020-10-19T06:15:36Z) - Answering Any-hop Open-domain Questions with Iterative Document
Reranking [62.76025579681472]
オープンドメインの問に答える統合QAフレームワークを提案する。
提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
論文 参考訳（メタデータ） (2020-09-16T04:31:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。