論文の概要: Few-Shot Question Answering by Pretraining Span Selection

• arxiv url: http://arxiv.org/abs/2101.00438v1
• Date: Sat, 2 Jan 2021 11:58:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 09:32:43.874141
• Title: Few-Shot Question Answering by Pretraining Span Selection
• Title（参考訳）: 予備学習スパン選択による少数質問応答
• Authors: Ori Ram and Yuval Kirstain and Jonathan Berant and Amir Globerson and Omer Levy
• Abstract要約: 私たちは、数百のトレーニング例しか利用できない、より現実的な数ショット設定を探索します。 標準スパン選択モデルの性能が低下していることを示し,現在の事前学習目標が質問応答から遠ざかっていることを浮き彫りにした。 本研究は,事前学習方式とモデルアーキテクチャの注意深い設計が,数ショット設定における性能に劇的な影響を及ぼすことを示唆している。
• 参考スコア（独自算出の注目度）: 58.31911597824848
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In a number of question answering (QA) benchmarks, pretrained models have reached human parity through fine-tuning on an order of 100,000 annotated questions and answers. We explore the more realistic few-shot setting, where only a few hundred training examples are available. We show that standard span selection models perform poorly, highlighting the fact that current pretraining objective are far removed from question answering. To address this, we propose a new pretraining scheme that is more suitable for extractive question answering. Given a passage with multiple sets of recurring spans, we mask in each set all recurring spans but one, and ask the model to select the correct span in the passage for each masked span. Masked spans are replaced with a special token, viewed as a question representation, that is later used during fine-tuning to select the answer span. The resulting model obtains surprisingly good results on multiple benchmarks, e.g., 72.7 F1 with only 128 examples on SQuAD, while maintaining competitive (and sometimes better) performance in the high-resource setting. Our findings indicate that careful design of pretraining schemes and model architecture can have a dramatic effect on performance in the few-shot settings.
• Abstract（参考訳）: 多くの質問応答(QA)ベンチマークでは、事前訓練されたモデルは10万の注釈付き質問と回答の順序で微調整することで人間と同等に到達している。 私たちは、数百のトレーニングサンプルしか利用できない、より現実的な数ショットの設定を探求します。 標準スパン選択モデルの性能は低いことを示し、現在の事前学習対象が質問応答から遠く離れたという事実を強調した。 そこで本研究では,質問応答の抽出に適した新しい事前学習方式を提案する。 複数の繰り返しスパンからなるパスが与えられた場合、各セットにおいて、繰り返しスパン以外のすべてのスパンをマスキングし、各マスキングスパンに対して正しいスパンを選択するようモデルに求める。 仮面のスパンは特別なトークンに置き換えられ、質問表現と見なされ、後に微調整中に答えスパンを選択するために使われる。 結果のモデルは、SQuADでわずか128例の72.7 F1のような、複数のベンチマークで驚くほど良い結果が得られる一方で、高リソース環境での競争力(時にはより良い)性能を維持している。 本研究は,事前学習方式とモデルアーキテクチャの注意深い設計が,数ショット設定における性能に劇的な影響を及ぼすことを示唆している。

関連論文リスト

• Listening to the Wise Few: Select-and-Copy Attention Heads for Multiple-Choice QA [19.78468832417275]
  モデルの基礎となる知識を捕捉し、明らかにする新しいスコアを導入します。 これらの結果から,LLaMA2-7Bでは知識抽出が最大16%向上した。 モデルが正しい答えを明示的に知っている単純な合成データセットの精度は、ほぼ60%向上する。
  論文  参考訳（メタデータ） (2024-10-03T09:53:48Z)
• Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
  オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。 ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。 本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
  論文  参考訳（メタデータ） (2023-07-08T04:32:17Z)
• Momentum Contrastive Pre-training for Question Answering [54.57078061878619]
  MCROSSはモーメントコントラスト学習フレームワークを導入し、クローゼのような解答確率と自然な問合せのサンプルペアを一致させる。 本手法は,教師付きシナリオとゼロショットシナリオの両方において,すべてのベースラインと比較して顕著な改善を実現している。
  論文  参考訳（メタデータ） (2022-12-12T08:28:22Z)
• CCQA: A New Web-Scale Question Answering Dataset for Model Pre-Training [21.07506671340319]
  本稿では,Common Crawlプロジェクトに基づく質問応答データセットを提案する。 我々は、約1億3000万の多言語問合せ対を抽出し、約6000万の英語データポイントを抽出した。 これまでに見つからなかった自然QAペア数を用いて、質問応答タスクのための大規模ドメイン事前学習の可能性を示すために、人気のある言語モデルを事前訓練する。
  論文  参考訳（メタデータ） (2021-10-14T21:23:01Z)
• FewshotQA: A simple framework for few-shot learning of question answering tasks using pre-trained text-to-text models [0.0]
  現在の最先端の事前訓練モデルでは、良い結果を得るためには、何万ものサンプルを微調整する必要がある。 本稿では,事前学習したテキスト・テキスト・モデルを利用した簡易な微調整フレームワークを提案する。 我々のモデルでは、XLM-Roberta-largeを最大40F1ポイント、平均33F1ポイントで上回ります。
  論文  参考訳（メタデータ） (2021-09-04T23:08:57Z)
• True Few-Shot Learning with Language Models [78.42578316883271]
  ホールドアウト例が利用できない場合, LMの少数ショット能力を評価する。 以上の結果から,先行研究はLMの真少ショット能力を大幅に過大評価していたことが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T17:55:51Z)
• Self-supervised pre-training and contrastive representation learning for multiple-choice video QA [39.78914328623504]
  Video Question Answering (ビデオQA)は、与えられた質問に答えるために、ビデオと言語の両方の微妙な理解を必要とする。 本稿では,自己指導型事前学習段階と主段階における教師付きコントラスト学習を補助学習として,複数選択型ビデオ質問応答のための新しい学習手法を提案する。 提案手法は,TVQA,TVQA+,DramaQAといったマルチチョイスビデオQAに関連する高競争性ベンチマークデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-09-17T03:37:37Z)
• Robust Question Answering Through Sub-part Alignment [53.94003466761305]
  我々はアライメント問題として質問応答をモデル化する。 私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
  論文  参考訳（メタデータ） (2020-04-30T09:10:57Z)
• ManyModalQA: Modality Disambiguation and QA over Diverse Inputs [73.93607719921945]
  本稿では, エージェントが3つの異なるモダリティを考慮し, 質問に答えなければならない, マルチモーダルな質問応答課題, ManyModalQAを提案する。 われわれはウィキペディアをスクラップしてデータを収集し、クラウドソーシングを利用して質問と回答のペアを収集する。
  論文  参考訳（メタデータ） (2020-01-22T14:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。