論文の概要: On the Influence of Masking Policies in Intermediate Pre-training

• arxiv url: http://arxiv.org/abs/2104.08840v1
• Date: Sun, 18 Apr 2021 12:32:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-21 11:24:09.091247
• Title: On the Influence of Masking Policies in Intermediate Pre-training
• Title（参考訳）: 中間予習におけるマスキングポリシーの影響について
• Authors: Qinyuan Ye, Belinda Z. Li, Sinong Wang, Benjamin Bolte, Hao Ma, Wen-tau Yih, Xiang Ren, Madian Khabsa
• Abstract要約: 以前の研究によると、中間の事前トレーニングフェーズを挿入することで、下流タスクに似た目的が最終的なパフォーマンスを大幅に向上させることができる。 1) 中間的事前学習がどのような場合に有用か,(2)手作りの目的が与えられたタスクに最適か,(3) あるタスクのために設計された方針がそのタスクを超えて一般化可能であるか,などについては,いまだ不明である。 下流タスクの直接監督またはメタラーニングを通じてマスキングモデルを学ぶことにより、最適なポリシーの発見を自動化する方法を紹介します。
• 参考スコア（独自算出の注目度）: 46.75012465848036
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Current NLP models are predominantly trained through a pretrain-then-finetune pipeline, where models are first pretrained on a large text corpus with a masked-language-modelling (MLM) objective, then finetuned on the downstream task. Prior work has shown that inserting an intermediate pre-training phase, with heuristic MLM objectives that resemble downstream tasks, can significantly improve final performance. However, it is still unclear (1) in what cases such intermediate pre-training is helpful, (2) whether hand-crafted heuristic objectives are optimal for a given task, and (3) whether a MLM policy designed for one task is generalizable beyond that task. In this paper, we perform a large-scale empirical study to investigate the effect of various MLM policies in intermediate pre-training. Crucially, we introduce methods to automate discovery of optimal MLM policies, by learning a masking model through either direct supervision or meta-learning on the downstream task. We investigate the effects of using heuristic, directly supervised, and meta-learned MLM policies for intermediate pretraining, on eight selected tasks across three categories (closed-book QA, knowledge-intensive language tasks, and abstractive summarization). Most notably, we show that learned masking policies outperform the heuristic of masking named entities on TriviaQA, and masking policies learned on one task can positively transfer to other tasks in certain cases.
• Abstract（参考訳）: 現在のNLPモデルは、主に事前訓練済みのファイントゥンパイプラインを通じてトレーニングされ、まずモデルがマスク付き言語モデリング(MLM)の目的を持つ大きなテキストコーパスで事前訓練され、その後下流タスクで微調整される。 従来の研究は、下流タスクに似たヒューリスティックなMLM目標を持つ中間学習段階の挿入は、最終的なパフォーマンスを著しく向上させることを示した。 しかし,(1)中間的事前学習がどのような場合に有用か,(2)手作りのヒューリスティックな目的が与えられたタスクに最適か,(3)あるタスクのために設計されたMLMポリシーがそのタスクを超えて一般化可能であるかは,いまだ不明である。 本稿では,中間訓練における様々なMLMポリシーの効果を検討するために,大規模な実証的研究を行う。 重要なことは、下流タスクにおける直接監督やメタ学習を通じてマスキングモデルを学ぶことにより、最適なMDMポリシーの発見を自動化する方法を提案する。 本研究は,3つのカテゴリ(クローズドブックQA,知識集約型言語タスク,抽象要約)で選択された8つのタスクに対して,ヒューリスティック,直接教師付き,メタ学習型MLMポリシーを中間訓練に利用することの効果を検討した。 特に,学習したマスキングポリシーはTriviaQA上でのマスキングのヒューリスティックよりも優れており,あるタスクで学んだマスキングポリシーは,ある場合には他のタスクに積極的に移行できることを示す。

関連論文リスト

• Active Fine-Tuning of Generalist Policies [54.65568433408307]
  AMF(Active Multi-task Fine-tuning)を提案する。 我々は,AMFの性能保証を規則性仮定で導き,複雑・高次元環境における実験的有効性を示す。
  論文  参考訳（メタデータ） (2024-10-07T13:26:36Z)
• MAML-en-LLM: Model Agnostic Meta-Training of LLMs for Improved In-Context Learning [43.512739869120125]
  大規模言語モデル(LLM)のメタトレーニング手法であるMAML-en-LLMを提案する。 MAML-en-LLMは、解離したタスクでうまく機能するだけでなく、目に見えないタスクに適応する真の一般化可能なパラメータを学習することができる。 我々は、MAML-en-LLMが、目に見えないドメインと見えないドメインのトレーニングデータが少ない設定において、ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-19T04:49:42Z)
• LgTS: Dynamic Task Sampling using LLM-generated sub-goals for Reinforcement Learning Agents [10.936460061405157]
  LgTS (LLM-Guided Teacher-Student Learning) を提案する。 提案手法では,提案したサブゴールを達成するための事前訓練されたポリシーも必要としない。
  論文  参考訳（メタデータ） (2023-10-14T00:07:03Z)
• How does the task complexity of masked pretraining objectives affect downstream performance? [10.958094201870871]
  Masked Language Modeling (MLM) は、広く使われている自己学習の目的である。 マスキングスキームの目的は、下流のタスクよりも優れています。 複雑性の欠如が劣化に不可欠な役割を担っていると仮定して、我々はどれだけの複雑さを実行する必要があるかを調査する。
  論文  参考訳（メタデータ） (2023-05-18T14:11:57Z)
• Learning Better Masking for Better Language Model Pre-training [80.31112722910787]
  Masked Language Modelingは、事前学習言語モデル(PrLM)の目的を認知するために広く使われている。 PrLMは、固定マスキング比を適用し、トレーニング全体を通して異なる内容が同じ確率でマスクされるランダム-トークンマスキング戦略を採用するのが一般的である。 本研究では,異なるトレーニング段階におけるマスキング率とマスキング内容の調整を適応的に行う2つのマスク手法を提案する。
  論文  参考訳（メタデータ） (2022-08-23T08:27:52Z)
• CSS-LM: A Contrastive Framework for Semi-supervised Fine-tuning of Pre-trained Language Models [59.49705076369856]
  プレトレーニング言語モデル(PLM)の微調整フェーズを改善するための新しいフレームワークを提案する。 大規模未ラベルコーパスから,タスクに対するドメインレベルおよびクラスレベルの意味的関連性に応じて,正および負のインスタンスを検索する。 次に、検索したラベル付きおよびオリジナルラベル付きの両方のインスタンスに対して、対照的な半教師付き学習を行い、PLMが重要なタスク関連セマンティックな特徴をキャプチャするのを助ける。
  論文  参考訳（メタデータ） (2021-02-07T09:27:26Z)
• Studying Strategically: Learning to Mask for Closed-book QA [46.75012465848036]
  クローズドブックの質問応答(QA)は、モデルが外部の知識にアクセスすることなく質問に直接答える必要がある難しいタスクです。 質問、回答)例で訓練済みの言語モデルを直接調整することで、驚くほど競争力のあるパフォーマンスが得られることが示されている。
  論文  参考訳（メタデータ） (2020-12-31T18:59:08Z)
• Task-specific Objectives of Pre-trained Language Models for Dialogue Adaptation [79.0866650271659]
  PrLMを利用する一般的なプロセスは、まずタスク非依存のLMトレーニング目標を持つ大規模汎用コーパス上で事前トレーニングを行い、タスク固有のトレーニング目標を持つタスクデータセットを微調整する。 タスク固有の目的を持つドメイン内タスク関連コーパスにタスク固有の事前学習を導入する。 この手順は、特定のタスクのモデル理解能力を高めるために、元の2つのステージの間に置かれる。
  論文  参考訳（メタデータ） (2020-09-10T16:46:46Z)
• Train No Evil: Selective Masking for Task-Guided Pre-Training [97.03615486457065]
  一般的な事前学習と微調整の間を選択的にマスキングするタスク誘導事前学習段階を付加した3段階のフレームワークを提案する。 提案手法は,50%未満のコストで同等あるいはさらに優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-21T03:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。