論文の概要: When in Doubt, Ask: Generating Answerable and Unanswerable Questions, Unsupervised

• arxiv url: http://arxiv.org/abs/2010.01611v2
• Date: Mon, 19 Oct 2020 02:29:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 03:23:35.307466
• Title: When in Doubt, Ask: Generating Answerable and Unanswerable Questions, Unsupervised
• Title（参考訳）: 疑わしいとき、質問する: 答えが取れない、理解できない質問を生成し、監督されない
• Authors: Liubov Nikolenko, Pouya Rezazadeh Kalehbasti
• Abstract要約: 質問回答(QA)は、人と機械間の堅牢なコミュニケーションを可能にするための鍵である。 現代のQAで使用される言語モデルは、いくつかの重要なタスクにおいて人間のパフォーマンスを上回っている。 本稿では,この問題を克服する手段として,人工データを用いた人為的データセットの強化について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Question Answering (QA) is key for making possible a robust communication between human and machine. Modern language models used for QA have surpassed the human-performance in several essential tasks; however, these models require large amounts of human-generated training data which are costly and time-consuming to create. This paper studies augmenting human-made datasets with synthetic data as a way of surmounting this problem. A state-of-the-art model based on deep transformers is used to inspect the impact of using synthetic answerable and unanswerable questions to complement a well-known human-made dataset. The results indicate a tangible improvement in the performance of the language model (measured in terms of F1 and EM scores) trained on the mixed dataset. Specifically, unanswerable question-answers prove more effective in boosting the model: the F1 score gain from adding to the original dataset the answerable, unanswerable, and combined question-answers were 1.3%, 5.0%, and 6.7%, respectively. [Link to the Github repository: https://github.com/lnikolenko/EQA]
• Abstract（参考訳）: 質問回答(QA)は、人と機械間の堅牢なコミュニケーションを可能にするための鍵である。 QAに使用される現代言語モデルは、いくつかの重要なタスクにおいて人間のパフォーマンスを上回ってきたが、これらのモデルは、作成するのにコストと時間を要する大量の人為的なトレーニングデータを必要とする。 本稿では,この問題を克服する手段として,人工データを用いた人為的データセットの強化について検討する。 ディープ・トランスフォーマーに基づく最先端のモデルを用いて、よく知られた人造データセットを補完するために、合成可能な質問と解決不可能な質問を使用することの影響を検査する。 その結果、混合データセットで訓練された言語モデル(f1とemスコアで測定される)の性能が有意な改善を示した。 f1スコアは、元のデータセットに追加することで得られるものであり、回答可能で、回答可能で、回答可能で、質問応答を組み合わせると、それぞれ1.3%、0.0%、そして6.7%である。 [Githubリポジトリへのリンク: https://github.com/lnikolenko/EQA]

関連論文リスト

• Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [115.501751261878]
  人為的なデータに基づく微調整言語モデル(LM)が普及している。 我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。 ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-11T18:17:43Z)
• A Lightweight Method to Generate Unanswerable Questions in English [18.323248259867356]
  本稿では,英語における疑問生成のための簡易なデータ拡張手法について検討する。 回答可能な質問に対して、Antonymとエンティティスワップを実行します。 従来の最先端技術と比較すると、トレーニング不要で軽量な戦略で生成されたデータにより、より良いモデルが得られます。
  論文  参考訳（メタデータ） (2023-10-30T10:14:52Z)
• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• Improving Question Answering Model Robustness with Synthetic Adversarial Data Generation [41.9785159975426]
  最先端の質問応答モデルは、様々な敵の攻撃を受けやすいままであり、人間レベルの言語理解を得るには程遠い。 提案されている1つの方法は動的逆データ収集であり、人間のアノテータがループ内のモデルが失敗する例を作成しようとするものである。 本研究では,合成逆データ生成パイプラインを構成する複数の回答選択,質問生成,フィルタリング手法について検討する。 合成データと人為的データの両方で訓練されたモデルは、合成逆数データで訓練されていないモデルより優れ、対数上での最先端の結果を得る
  論文  参考訳（メタデータ） (2021-04-18T02:00:06Z)
• Understanding Unnatural Questions Improves Reasoning over Text [54.235828149899625]
  生テキストに対する複雑な質問応答(CQA)は難しい課題である。 効果的なCQAモデルを学ぶには、大量の人間が注釈付けしたデータが必要である。 我々は、自然の人間生成の質問を非自然の機械生成の質問に投影することで、高品質なプログラマ(パーザ)を学ぶという課題に対処する。
  論文  参考訳（メタデータ） (2020-10-19T10:22:16Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)
• What do Models Learn from Question Answering Datasets? [2.28438857884398]
  モデルが質問応答データセットから読み解きを学習しているかどうかを検討する。 我々は、ドメイン外の例に対する一般化可能性、欠落や不正なデータに対する応答、質問のバリエーションを扱う能力に関するモデルを評価する。 読解を通じて質問応答のタスクをよりよく評価する,将来的なQAデータセットの構築を推奨する。
  論文  参考訳（メタデータ） (2020-04-07T15:41:55Z)
• Training Question Answering Models From Synthetic Data [26.91650323300262]
  本研究は, 人工問合せと人為的問合せのギャップを狭めることを目的としている。 我々は830億のパラメータ GPT-2 モデルにより生成された合成コーパスから質問や回答を合成する。 人間の監督にアクセスできず、他のモデルのみにアクセスできないため、完全にモデル生成データに基づいて、アート質問応答ネットワークの状態をトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2020-02-22T01:49:27Z)
• ManyModalQA: Modality Disambiguation and QA over Diverse Inputs [73.93607719921945]
  本稿では, エージェントが3つの異なるモダリティを考慮し, 質問に答えなければならない, マルチモーダルな質問応答課題, ManyModalQAを提案する。 われわれはウィキペディアをスクラップしてデータを収集し、クラウドソーシングを利用して質問と回答のペアを収集する。
  論文  参考訳（メタデータ） (2020-01-22T14:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。