論文の概要: Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering

• arxiv url: http://arxiv.org/abs/2210.04234v1
• Date: Sun, 9 Oct 2022 11:48:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 16:47:10.610254
• Title: Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering
• Title（参考訳）: 生成質問応答におけるゼロショットマルチホップ推論の理解と改善
• Authors: Zhengbao Jiang, Jun Araki, Haibo Ding, Graham Neubig
• Abstract要約: マルチホップ質問を複数の単一ホップ質問に分解する。 これらの対の見かけ上同一の問合せ連鎖について、QAモデルの答えに顕著な矛盾が認められる。 シングルホップの質問だけを訓練すると、モデルはマルチホップの質問に対してあまり一般化しない。
• 参考スコア（独自算出の注目度）: 85.79940770146557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative question answering (QA) models generate answers to questions either solely based on the parameters of the model (the closed-book setting) or additionally retrieving relevant evidence (the open-book setting). Generative QA models can answer some relatively complex questions, but the mechanism through which they do so is still poorly understood. We perform several studies aimed at better understanding the multi-hop reasoning capabilities of generative QA models. First, we decompose multi-hop questions into multiple corresponding single-hop questions, and find marked inconsistency in QA models' answers on these pairs of ostensibly identical question chains. Second, we find that models lack zero-shot multi-hop reasoning ability: when trained only on single-hop questions, models generalize poorly to multi-hop questions. Finally, we demonstrate that it is possible to improve models' zero-shot multi-hop reasoning capacity through two methods that approximate real multi-hop natural language (NL) questions by training on either concatenation of single-hop questions or logical forms (SPARQL). In sum, these results demonstrate that multi-hop reasoning does not emerge naturally in generative QA models, but can be encouraged by advances in training or modeling techniques.
• Abstract（参考訳）: 生成的質問応答(qa:generative question answering)モデルは、モデルのパラメータ(クローズドブック設定)または関連する証拠(オープンブック設定)に基づいて、質問に対する応答を生成する。 生成的QAモデルは比較的複雑な質問に答えることができるが、それらが行うメカニズムはまだ理解されていない。 生成型QAモデルのマルチホップ推論能力の向上を目的としたいくつかの研究を行った。 まず、複数のホップ質問を複数の対応するシングルホップ質問に分解し、表向きは同じ質問連鎖のペアに対するqaモデルの回答に顕著な矛盾を見出す。 第2に、モデルにはゼロショットのマルチホップ推論能力がないことが分かりました。 最後に,実マルチホップ自然言語 (nl) を近似する2つの手法を用いて,単一ホップ質問の連結あるいは論理形式 (sparql) を訓練することにより,モデルのゼロショットマルチホップ推論能力を向上できることを実証する。 結論として,マルチホップ推論は生成型qaモデルでは自然に出現しないが,トレーニングやモデリング技術の進歩によって促進されることを示した。

関連論文リスト

• Explainable Multi-hop Question Generation: An End-to-End Approach without Intermediate Question Labeling [6.635572580071933]
  マルチホップ質問生成は、複数の文書に対して多段階の推論を必要とする複雑な質問を生成することを目的としている。 従来の研究では、コンテキスト文書の表現に基づいて質問をデコードするエンド・ツー・エンド・モデルが主流であった。 本稿では,逐次書き直しによる質問の複雑さを増大させるエンドツーエンドの質問書き直しモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-31T06:03:54Z)
• Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.16250115608604]
  本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。 また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。 我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
  論文  参考訳（メタデータ） (2022-09-20T07:04:24Z)
• Prompt-based Conservation Learning for Multi-hop Question Answering [11.516763652013005]
  マルチホップ質問応答には、複雑な質問に答えるために複数の文書を推論する必要がある。 既存のマルチホップQAメソッドの多くは、サブクエストのかなりの部分に答えられません。 マルチホップQAのためのPromptベースの保存学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-14T20:50:46Z)
• Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question Answering [71.49131159045811]
  マルチホップ推論では、複雑な質問に答えるために複数の文書を集約する必要がある。 既存の方法は通常、マルチホップの質問を単純なシングルホップの質問に分解する。 そこで本研究では,単一ホップ支援文識別と単一ホップ質問生成の両方を組み込む,解釈可能な段階的推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-22T13:24:25Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)
• Generative Context Pair Selection for Multi-hop Question Answering [60.74354009152721]
  マルチホップ質問応答のための生成コンテキスト選択モデルを提案する。 提案した生成経路選択モデルは,対向保留集合上でのより良い性能(ベースラインより4.9%高い)を有する。
  論文  参考訳（メタデータ） (2021-04-18T07:00:48Z)
• Constructing A Multi-hop QA Dataset for Comprehensive Evaluation of Reasoning Steps [31.472490306390977]
  マルチホップ質問応答データセットは、モデルが与えられた質問に答えるために複数の段落を読むことを要求することにより、推論と推論のスキルをテストすることを目的としている。 これまでの研究では、既存のマルチホップデータセットの多くの例は、質問に答えるためにマルチホップ推論を必要としないことが判明した。 構造化データと非構造化データを利用する2WikiMultiHopQAと呼ばれる新しいマルチホップQAデータセットを提案する。
  論文  参考訳（メタデータ） (2020-11-02T15:42:40Z)
• Reinforced Multi-task Approach for Multi-hop Question Generation [47.15108724294234]
  我々は,その文脈における支援事実に基づいて,関連する質問を生成することを目的としたマルチホップ質問生成を取り上げている。 我々は,質問生成を導くために,回答認識支援事実予測の補助タスクを備えたマルチタスク学習を採用する。 マルチホップ質問応答データセットHotPotQAの実験を通して,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-04-05T10:16:59Z)
• Do Multi-Hop Question Answering Systems Know How to Answer the Single-Hop Sub-Questions? [23.991872322492384]
  マルチホップ質問におけるトップパフォーマンスモデルが,人間のようなサブクエストの根底にある部分クエストを理解しているかどうかを考察する。 複数の最先端マルチホップQAモデルがサブクエストの大部分に正しく答えられていないことを示す。 我々の研究は、より説明しやすいマルチホップQAシステムの構築に向けて一歩前進します。
  論文  参考訳（メタデータ） (2020-02-23T15:16:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。