論文の概要: Improving the Robustness of QA Models to Challenge Sets with Variational Question-Answer Pair Generation

• arxiv url: http://arxiv.org/abs/2004.03238v2
• Date: Fri, 4 Jun 2021 01:21:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 22:26:14.179811
• Title: Improving the Robustness of QA Models to Challenge Sets with Variational Question-Answer Pair Generation
• Title（参考訳）: 可変質問応答ペア生成によるQAモデルの課題に対するロバスト性の改善
• Authors: Kazutoshi Shinoda, Saku Sugawara, Akiko Aizawa
• Abstract要約: 質問応答モデル(QA)は,分布内テストセットにおいて人間レベルの精度を実現している。 彼らは、トレーニングセットとは異なる分布を持つ挑戦セットに対して堅牢性が欠如していることが示されている。 段落から多種多様なQAペアを生成する変分QAGモデルを提案する。
• 参考スコア（独自算出の注目度）: 38.36299280464046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Question answering (QA) models for reading comprehension have achieved human-level accuracy on in-distribution test sets. However, they have been demonstrated to lack robustness to challenge sets, whose distribution is different from that of training sets. Existing data augmentation methods mitigate this problem by simply augmenting training sets with synthetic examples sampled from the same distribution as the challenge sets. However, these methods assume that the distribution of a challenge set is known a priori, making them less applicable to unseen challenge sets. In this study, we focus on question-answer pair generation (QAG) to mitigate this problem. While most existing QAG methods aim to improve the quality of synthetic examples, we conjecture that diversity-promoting QAG can mitigate the sparsity of training sets and lead to better robustness. We present a variational QAG model that generates multiple diverse QA pairs from a paragraph. Our experiments show that our method can improve the accuracy of 12 challenge sets, as well as the in-distribution accuracy. Our code and data are available at https://github.com/KazutoshiShinoda/VQAG.
• Abstract（参考訳）: 質問応答モデル(QA)は,分布内テストセットにおいて人間レベルの精度を実現している。 しかし、これらはトレーニングセットと分布が異なるチャレンジセットに対する堅牢性が欠如していることが示されている。 既存のデータ拡張手法は、チャレンジセットと同じ分布からサンプリングされた合成例でトレーニングセットを単純に拡張することでこの問題を軽減する。 しかし、これらの手法では、チャレンジ集合の分布は事前に知られており、未発見のチャレンジ集合にはあまり適用できないと仮定している。 本研究では,この問題を軽減するために質問応答ペア生成(QAG)に注目した。 既存のほとんどのQAG法は, 合成例の品質向上を目的としているが, 多様性促進型QAGはトレーニングセットの空間性を緩和し, より堅牢性を高めることができると推測する。 段落から多種多様なQAペアを生成する変分QAGモデルを提案する。 実験の結果,本手法は12個のチャレンジセットの精度と分布精度を向上できることがわかった。 私たちのコードとデータはhttps://github.com/kazutoshishinoda/vqagで入手できます。

関連論文リスト

• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Adaptive Data-Free Quantization [44.00726062583708]
  データフリー量子化(DFQ)は、元のデータなしで量子化されたネットワーク(Q)の性能を回復する。 DFQは、全精度ネットワークから学習して、ジェネレータ(G)を介して偽サンプルを生成する(P)。 ゼロサムゲームの観点からDFQを再検討するAdaptive Data-Free Quantization (AdaDFQ)法を提案する。
  論文  参考訳（メタデータ） (2023-03-13T05:37:40Z)
• Momentum Contrastive Pre-training for Question Answering [54.57078061878619]
  MCROSSはモーメントコントラスト学習フレームワークを導入し、クローゼのような解答確率と自然な問合せのサンプルペアを一致させる。 本手法は,教師付きシナリオとゼロショットシナリオの両方において,すべてのベースラインと比較して顕著な改善を実現している。
  論文  参考訳（メタデータ） (2022-12-12T08:28:22Z)
• How to Build Robust FAQ Chatbot with Controllable Question Generator? [5.680871239968297]
  本稿では, セマンティックグラフを用いて, 高い品質, 多様性, 制御可能なサンプルを生成する手法を提案する。 流動的でセマンティックに生成されたQAペアは、我々の通過検索モデルをうまく騙すことができる。 生成されたデータセットは、新しいターゲット領域へのQAモデルの一般化性を向上させる。
  論文  参考訳（メタデータ） (2021-11-18T12:54:07Z)
• Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
  本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。 ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。 特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-06T14:12:26Z)
• Counterfactual Variable Control for Robust and Interpretable Question Answering [57.25261576239862]
  ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。 本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。 本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:09:05Z)
• ManyModalQA: Modality Disambiguation and QA over Diverse Inputs [73.93607719921945]
  本稿では, エージェントが3つの異なるモダリティを考慮し, 質問に答えなければならない, マルチモーダルな質問応答課題, ManyModalQAを提案する。 われわれはウィキペディアをスクラップしてデータを収集し、クラウドソーシングを利用して質問と回答のペアを収集する。
  論文  参考訳（メタデータ） (2020-01-22T14:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。