論文の概要: Studying Strategically: Learning to Mask for Closed-book QA

• arxiv url: http://arxiv.org/abs/2012.15856v2
• Date: Fri, 1 Jan 2021 18:50:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:26:52.204911
• Title: Studying Strategically: Learning to Mask for Closed-book QA
• Title（参考訳）: 戦略的学習:クローズドブックQAのためのマスク学習
• Authors: Qinyuan Ye, Belinda Z. Li, Sinong Wang, Benjamin Bolte, Hao Ma, Wen-tau Yih, Xiang Ren, Madian Khabsa
• Abstract要約: クローズドブックの質問応答(QA)は、モデルが外部の知識にアクセスすることなく質問に直接答える必要がある難しいタスクです。 質問、回答)例で訓練済みの言語モデルを直接調整することで、驚くほど競争力のあるパフォーマンスが得られることが示されている。
• 参考スコア（独自算出の注目度）: 46.75012465848036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Closed-book question-answering (QA) is a challenging task that requires a model to directly answer questions without access to external knowledge. It has been shown that directly fine-tuning pre-trained language models with (question, answer) examples yields surprisingly competitive performance, which is further improved upon through adding an intermediate pre-training stage between general pre-training and fine-tuning. Prior work used a heuristic during this intermediate stage, whereby named entities and dates are masked, and the model is trained to recover these tokens. In this paper, we aim to learn the optimal masking strategy for the intermediate pre-training stage. We first train our masking policy to extract spans that are likely to be tested, using supervision from the downstream task itself, then deploy the learned policy during intermediate pre-training. Thus, our policy packs task-relevant knowledge into the parameters of a language model. Our approach is particularly effective on TriviaQA, outperforming strong heuristics when used to pre-train BART.
• Abstract（参考訳）: クローズドブック質問回答(QA)は、外部の知識にアクセスせずに直接質問に答えるモデルを必要とする課題である。 質問,回答)の例で直接学習した事前学習言語モデルは驚くほどの競争性能を示し、一般の事前学習と微調整の間に中間的な事前学習段階を追加することでさらに改善されることが示されている。 初期の作業はこの中間段階でヒューリスティックを使用しており、名前付きエンティティと日付がマスクされ、これらのトークンを復元するためにモデルが訓練されている。 本稿では,中間訓練段階における最適マスキング戦略を学習することを目的とする。 まず、テストされる可能性のあるスパンを抽出するためにマスキングポリシをトレーニングし、ダウンストリームタスク自体の監督を使用して、中間の事前トレーニング中に学習したポリシをデプロイします。 このように、我々のポリシーはタスク関連知識を言語モデルのパラメータにまとめる。 我々のアプローチは特にTriviaQAに対して有効であり、BARTの事前トレーニングで強いヒューリスティックスを達成している。

関連論文リスト

• Forecast-MAE: Self-supervised Pre-training for Motion Forecasting with Masked Autoencoders [7.133110402648305]
  本研究では,自己教師型学習の動作予測への応用について検討する。 Forecast-MAEは、モーション予測タスクの自己教師型学習用に特別に設計されたマスクオートエンコーダフレームワークの拡張である。
  論文  参考訳（メタデータ） (2023-08-19T02:27:51Z)
• Socratic Pretraining: Question-Driven Pretraining for Controllable Summarization [89.04537372465612]
  ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。 以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
  論文  参考訳（メタデータ） (2022-12-20T17:27:10Z)
• Retrieval Oriented Masking Pre-training Language Model for Dense Passage Retrieval [16.592276887533714]
  Masked Language Modeling (MLM) は、事前学習プロセスの主要なサブタスクである。 従来のランダムマスキング戦略は、パス検索タスクに制限のある多数のトークンを選択する傾向にある。 本稿では,より重要なトークンがマスクアウトされる確率の高い検索指向マスキング(ROM)戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-27T02:43:48Z)
• Masked Autoencoders As The Unified Learners For Pre-Trained Sentence Representation [77.47617360812023]
  我々は、最近提案されたMAEスタイルの事前学習戦略であるRetroMAEを拡張し、幅広い文表現タスクをサポートする。 最初のステージでは、ベースモデルが学習されるWikipedia、BookCorpusなど、一般的なコーパス上でRetroMAEを実行する。 第2段階はドメイン固有のデータ、例えばMS MARCOやNLIで行われ、ベースモデルはRetroMAEとコントラスト学習に基づいて継続的に訓練される。
  論文  参考訳（メタデータ） (2022-07-30T14:34:55Z)
• On the Influence of Masking Policies in Intermediate Pre-training [46.75012465848036]
  以前の研究によると、中間の事前トレーニングフェーズを挿入することで、下流タスクに似た目的が最終的なパフォーマンスを大幅に向上させることができる。 1) 中間的事前学習がどのような場合に有用か,(2)手作りの目的が与えられたタスクに最適か,(3) あるタスクのために設計された方針がそのタスクを超えて一般化可能であるか,などについては,いまだ不明である。 下流タスクの直接監督またはメタラーニングを通じてマスキングモデルを学ぶことにより、最適なポリシーの発見を自動化する方法を紹介します。
  論文  参考訳（メタデータ） (2021-04-18T12:32:23Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Train No Evil: Selective Masking for Task-Guided Pre-Training [97.03615486457065]
  一般的な事前学習と微調整の間を選択的にマスキングするタスク誘導事前学習段階を付加した3段階のフレームワークを提案する。 提案手法は,50%未満のコストで同等あるいはさらに優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-21T03:14:22Z)
• REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
  言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。 本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。 オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
  論文  参考訳（メタデータ） (2020-02-10T18:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。