論文の概要: Disfl-QA: A Benchmark Dataset for Understanding Disfluencies in Question Answering

• arxiv url: http://arxiv.org/abs/2106.04016v1
• Date: Tue, 8 Jun 2021 00:03:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 08:26:36.588889
• Title: Disfl-QA: A Benchmark Dataset for Understanding Disfluencies in Question Answering
• Title（参考訳）: Disfl-QA: 質問回答における分散を理解するためのベンチマークデータセット
• Authors: Aditya Gupta, Jiacheng Xu, Shyam Upadhyay, Diyi Yang, Manaal Faruqui
• Abstract要約: Disfl-QAは、データセットに対する新たな課題である。 Disfl-QAには、テキストのより包括的な理解を必要とする様々な難題が含まれている。 また,データ拡張手法により性能の低下を部分的に回復し,さらに細調整に金のデータを用いることの有効性を示した。
• 参考スコア（独自算出の注目度）: 21.857273918785452
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Disfluencies is an under-studied topic in NLP, even though it is ubiquitous in human conversation. This is largely due to the lack of datasets containing disfluencies. In this paper, we present a new challenge question answering dataset, Disfl-QA, a derivative of SQuAD, where humans introduce contextual disfluencies in previously fluent questions. Disfl-QA contains a variety of challenging disfluencies that require a more comprehensive understanding of the text than what was necessary in prior datasets. Experiments show that the performance of existing state-of-the-art question answering models degrades significantly when tested on Disfl-QA in a zero-shot setting.We show data augmentation methods partially recover the loss in performance and also demonstrate the efficacy of using gold data for fine-tuning. We argue that we need large-scale disfluency datasets in order for NLP models to be robust to them. The dataset is publicly available at: https://github.com/google-research-datasets/disfl-qa.
• Abstract（参考訳）: 拡散は、人間の会話においてユビキタスであるにもかかわらず、NLPでは未研究のトピックである。 これは主に、分散を含むデータセットの欠如によるものだ。 本稿では,SQuAD の派生である Disfl-QA を用いた質問応答データセットを提案する。 Disfl-QAには、以前のデータセットに必要なものよりも、テキストのより包括的な理解を必要とする、さまざまな困難障害が含まれている。 ゼロショット環境でのDisfl-QAテストでは,既存の最先端質問応答モデルの性能が著しく低下し,データ拡張手法が部分的に性能低下を回復し,さらに細調整に金データを用いることの有効性を示した。 NLPモデルが堅牢になるためには,大規模な分散データセットが必要である,と我々は主張する。 データセットは、https://github.com/google-research-datasets/disfl-qaで公開されている。

関連論文リスト

• Optimizing Language Model's Reasoning Abilities with Weak Supervision [48.60598455782159]
  弱い教師付きベンチマークであるtextscPuzzleBen について,25,147 の複雑な質問,回答,人為的合理性からなる。 データセットのユニークな側面は、10,000の未注釈の質問を含めることであり、LLMの推論能力を高めるために、より少ないスーパーサイズのデータを活用することができる。
  論文  参考訳（メタデータ） (2024-05-07T07:39:15Z)
• Test-Time Self-Adaptive Small Language Models for Question Answering [63.91013329169796]
  ラベルのないテストデータのみを用いて、より小さな自己適応型LMの能力を示し、検討する。 提案した自己適応戦略は,ベンチマークQAデータセットの大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2023-10-20T06:49:32Z)
• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering [64.6741991162092]
  オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。 我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。 次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。 同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
  論文  参考訳（メタデータ） (2023-10-08T04:44:36Z)
• Can Question Generation Debias Question Answering Models? A Case Study on Question-Context Lexical Overlap [25.80004272277982]
  最近のニューラルQGモデルは、高い語彙重なり合う質問を生成することに偏っている。 語彙重なりが低い質問を補足する同義語に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-09-23T09:53:54Z)
• Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
  複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。 人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
  論文  参考訳（メタデータ） (2021-04-17T21:34:10Z)
• Overcoming Language Priors with Self-supervised Learning for Visual Question Answering [62.88124382512111]
  ほとんどのビジュアル質問回答(VQA)モデルは、言語の先行問題に苦しんでいます。 この問題を解決するための自己監督学習フレームワークを紹介します。 我々の手法は最先端の手法を大きく上回ることができる。
  論文  参考訳（メタデータ） (2020-12-17T12:30:12Z)
• When in Doubt, Ask: Generating Answerable and Unanswerable Questions, Unsupervised [0.0]
  質問回答(QA)は、人と機械間の堅牢なコミュニケーションを可能にするための鍵である。 現代のQAで使用される言語モデルは、いくつかの重要なタスクにおいて人間のパフォーマンスを上回っている。 本稿では,この問題を克服する手段として,人工データを用いた人為的データセットの強化について検討する。
  論文  参考訳（メタデータ） (2020-10-04T15:56:44Z)
• What do Models Learn from Question Answering Datasets? [2.28438857884398]
  モデルが質問応答データセットから読み解きを学習しているかどうかを検討する。 我々は、ドメイン外の例に対する一般化可能性、欠落や不正なデータに対する応答、質問のバリエーションを扱う能力に関するモデルを評価する。 読解を通じて質問応答のタスクをよりよく評価する,将来的なQAデータセットの構築を推奨する。
  論文  参考訳（メタデータ） (2020-04-07T15:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。