論文の概要: Can Question Generation Debias Question Answering Models? A Case Study on Question-Context Lexical Overlap

• arxiv url: http://arxiv.org/abs/2109.11256v1
• Date: Thu, 23 Sep 2021 09:53:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-24 15:16:28.814091
• Title: Can Question Generation Debias Question Answering Models? A Case Study on Question-Context Lexical Overlap
• Title（参考訳）: 質問生成デビアス質問応答モデルは可能か? 質問文脈の語彙オーバーラップに関する事例研究
• Authors: Kazutoshi Shinoda and Saku Sugawara and Akiko Aizawa
• Abstract要約: 最近のニューラルQGモデルは、高い語彙重なり合う質問を生成することに偏っている。 語彙重なりが低い質問を補足する同義語に基づく手法を提案する。
• 参考スコア（独自算出の注目度）: 25.80004272277982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Question answering (QA) models for reading comprehension have been demonstrated to exploit unintended dataset biases such as question-context lexical overlap. This hinders QA models from generalizing to under-represented samples such as questions with low lexical overlap. Question generation (QG), a method for augmenting QA datasets, can be a solution for such performance degradation if QG can properly debias QA datasets. However, we discover that recent neural QG models are biased towards generating questions with high lexical overlap, which can amplify the dataset bias. Moreover, our analysis reveals that data augmentation with these QG models frequently impairs the performance on questions with low lexical overlap, while improving that on questions with high lexical overlap. To address this problem, we use a synonym replacement-based approach to augment questions with low lexical overlap. We demonstrate that the proposed data augmentation approach is simple yet effective to mitigate the degradation problem with only 70k synthetic examples. Our data is publicly available at https://github.com/KazutoshiShinoda/Synonym-Replacement.
• Abstract（参考訳）: 質問応答(QA)モデルは、質問内容の語彙重なりのような意図しないデータセットバイアスを利用するために実証されている。 これは、QAモデルを一般化することから、語彙重なりの低い質問のような、表現不足のサンプルに妨げる。 質問生成(QG)は、QGがQAデータセットを適切にデバイアスできる場合、QGデータセットを増大させる方法である。 しかし,近年のニューラルqgモデルは,語彙重なりの高い質問生成に偏り,データセットのバイアスを増幅することが判明した。 さらに,これらのqgモデルを用いたデータ拡張は,語彙重複度の低い質問の性能を損なうと同時に,語彙重複度の高い質問に対する性能を向上させる。 この問題に対処するために,同義語置換に基づくアプローチを用いて,語彙重なりの少ない質問を増補する。 提案手法は, 簡易かつ有効であり, 70kの合成例のみを用いて, 劣化問題を軽減できることを実証した。 我々のデータはhttps://github.com/KazutoshiShinoda/Synonym-Replacement.comで公開されています。

関連論文リスト

• GSQA: An End-to-End Model for Generative Spoken Question Answering [54.418723701886115]
  本稿では,システムに抽象的推論を強制するGSQA(Generative Spoken Question Answering)モデルを提案する。 本モデルでは, 抽出QAデータセットにおいて, 従来の抽出モデルよりも3%上回っている。 我々のGSQAモデルは、幅広い質問に一般化する可能性を示し、それによって、抽象的QAの音声質問応答能力をさらに拡張する。
  論文  参考訳（メタデータ） (2023-12-15T13:33:18Z)
• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• Event Extraction as Question Generation and Answering [72.04433206754489]
  イベント抽出に関する最近の研究は、質問回答(QA)としてタスクを再編成した。 そこで我々は,QGA-EEを提案する。QGモデルにより,定型テンプレートを使わずに,リッチな文脈情報を含む質問を生成することができる。 実験の結果、QGA-EEはACE05の英語データセットで以前のシングルタスクベースのモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-07-10T01:46:15Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Improving Unsupervised Question Answering via Summarization-Informed Question Generation [47.96911338198302]
  質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、 我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。 得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
  論文  参考訳（メタデータ） (2021-09-16T13:08:43Z)
• Disfl-QA: A Benchmark Dataset for Understanding Disfluencies in Question Answering [21.857273918785452]
  Disfl-QAは、データセットに対する新たな課題である。 Disfl-QAには、テキストのより包括的な理解を必要とする様々な難題が含まれている。 また,データ拡張手法により性能の低下を部分的に回復し,さらに細調整に金のデータを用いることの有効性を示した。
  論文  参考訳（メタデータ） (2021-06-08T00:03:40Z)
• A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering [15.355557454305776]
  会話の文脈における質問書き直し(QR)は、この現象により多くの光を放つことができることを示す。 TREC CAsT と QuAC (CANARD) のデータセットを用いて解析を行った。
  論文  参考訳（メタデータ） (2020-10-13T06:29:51Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。