論文の概要: MuSiQue: Multi-hop Questions via Single-hop Question Composition

• arxiv url: http://arxiv.org/abs/2108.00573v1
• Date: Mon, 2 Aug 2021 00:33:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-03 15:39:15.097248
• Title: MuSiQue: Multi-hop Questions via Single-hop Question Composition
• Title（参考訳）: MuSiQue: シングルホップ質問構成によるマルチホップ質問
• Authors: Harsh Trivedi, Niranjan Balasubramanian, Tushar Khot, Ashish Sabharwal
• Abstract要約: マルチホップ質問を単一ホップ質問の合成として構築することにより,結果のマルチホップ質問の品質をよりよく制御することができる。 このプロセスを使用して、新しいマルチホップQAデータセットを構築する。 MuSiQue-Ans with 25K 2-4 ホップ質問。
• 参考スコア（独自算出の注目度）: 36.84063888323547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To build challenging multi-hop question answering datasets, we propose a bottom-up semi-automatic process of constructing multi-hop question via composition of single-hop questions. Constructing multi-hop questions as composition of single-hop questions allows us to exercise greater control over the quality of the resulting multi-hop questions. This process allows building a dataset with (i) connected reasoning where each step needs the answer from a previous step; (ii) minimal train-test leakage by eliminating even partial overlap of reasoning steps; (iii) variable number of hops and composition structures; and (iv) contrasting unanswerable questions by modifying the context. We use this process to construct a new multihop QA dataset: MuSiQue-Ans with ~25K 2-4 hop questions using seed questions from 5 existing single-hop datasets. Our experiments demonstrate that MuSique is challenging for state-of-the-art QA models (e.g., human-machine gap of $~$30 F1 pts), significantly harder than existing datasets (2x human-machine gap), and substantially less cheatable (e.g., a single-hop model is worse by 30 F1 pts). We also build an even more challenging dataset, MuSiQue-Full, consisting of answerable and unanswerable contrast question pairs, where model performance drops further by 13+ F1 pts. For data and code, see \url{https://github.com/stonybrooknlp/musique}.
• Abstract（参考訳）: 探索的なマルチホップ質問応答データセットを構築するために,シングルホップ質問の合成によるボトムアップな半自動プロセスを提案する。 マルチホップ質問を単一ホップ質問の構成として構成することで、その結果のマルチホップ質問の品質をよりよく制御することができる。 このプロセスにより、 (i) 接続された推論でデータセットを構築することができ、 (ii) 推論ステップの部分的な重複を排除し、最小限のトレインテストリーク、 (iii) ホップと構成構造の変数数、 (iv) コンテキストを変更することで解決不可能な質問を対比することができる。 このプロセスを使用して、新しいマルチホップQAデータセットを構築する。 MuSiQue-Ans with ~25K 2-4 ホップ質問。 我々の実験は、MuSiqueが最先端のQAモデル(例えば、30F1 ptsの人間と機械のギャップなど)には挑戦的であり、既存のデータセット(2倍の人間と機械のギャップ)よりもはるかに困難であり、非常に不正ではないことを実証している。 さらに,さらに難解なデータセットであるmusique-fullを構築して,回答可能なコントラスト質問ペアと回答不能なコントラスト質問ペアから構成した。 データとコードは \url{https://github.com/stonybrooknlp/musique} を参照。

関連論文リスト

• MoreHopQA: More Than Multi-hop Reasoning [32.94332511203639]
  提案するマルチホップデータセットであるMoreHopQAは,抽出結果から生成結果へシフトする。 我々のデータセットは,HotpotQA,2WikiMultihopQA,MuSiQueの3つの既存のマルチホップデータセットを利用して作成されている。 この結果から,初期のマルチホップ質問ではモデルの性能は良好であったが,拡張された質問では困難であった。
  論文  参考訳（メタデータ） (2024-06-19T09:38:59Z)
• Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering [85.79940770146557]
  マルチホップ質問を複数の単一ホップ質問に分解する。 これらの対の見かけ上同一の問合せ連鎖について、QAモデルの答えに顕著な矛盾が認められる。 シングルホップの質問だけを訓練すると、モデルはマルチホップの質問に対してあまり一般化しない。
  論文  参考訳（メタデータ） (2022-10-09T11:48:07Z)
• Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question Answering [71.49131159045811]
  マルチホップ推論では、複雑な質問に答えるために複数の文書を集約する必要がある。 既存の方法は通常、マルチホップの質問を単純なシングルホップの質問に分解する。 そこで本研究では,単一ホップ支援文識別と単一ホップ質問生成の両方を組み込む,解釈可能な段階的推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-22T13:24:25Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)
• Constructing A Multi-hop QA Dataset for Comprehensive Evaluation of Reasoning Steps [31.472490306390977]
  マルチホップ質問応答データセットは、モデルが与えられた質問に答えるために複数の段落を読むことを要求することにより、推論と推論のスキルをテストすることを目的としている。 これまでの研究では、既存のマルチホップデータセットの多くの例は、質問に答えるためにマルチホップ推論を必要としないことが判明した。 構造化データと非構造化データを利用する2WikiMultiHopQAと呼ばれる新しいマルチホップQAデータセットを提案する。
  論文  参考訳（メタデータ） (2020-11-02T15:42:40Z)
• Unsupervised Multi-hop Question Answering by Question Generation [108.61653629883753]
  MQA-QGは、人間のようなマルチホップトレーニングデータを生成する、教師なしのフレームワークである。 生成された学習データのみを用いて、教師付き学習性能の61%と83%を達成できる有能なマルチホップQAを訓練することができる。
  論文  参考訳（メタデータ） (2020-10-23T19:13:47Z)
• Multi-hop Question Generation with Graph Convolutional Network [58.31752179830959]
  マルチホップ質問生成(Multi-hop Question Generation, QG)は,異なる段落から散在する複数の証拠を集約・推論することで,回答に関連する質問を生成することを目的とする。 複数のホップでコンテキストエンコーディングを行うMulQG(Multi-Hop volution Fusion Network for Question Generation)を提案する。 提案モデルでは,高い完全性を有する流動的な質問を生成することができ,マルチホップ評価において,最強のベースラインを20.8%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-19T06:15:36Z)
• Do Multi-Hop Question Answering Systems Know How to Answer the Single-Hop Sub-Questions? [23.991872322492384]
  マルチホップ質問におけるトップパフォーマンスモデルが,人間のようなサブクエストの根底にある部分クエストを理解しているかどうかを考察する。 複数の最先端マルチホップQAモデルがサブクエストの大部分に正しく答えられていないことを示す。 我々の研究は、より説明しやすいマルチホップQAシステムの構築に向けて一歩前進します。
  論文  参考訳（メタデータ） (2020-02-23T15:16:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。