論文の概要: Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation

• arxiv url: http://arxiv.org/abs/2010.02705v1
• Date: Tue, 6 Oct 2020 13:27:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 04:50:49.520644
• Title: Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation
• Title（参考訳）: neural mask generator: 言語モデル適応のための適応型単語マスキング生成のための学習
• Authors: Minki Kang, Moonsu Han, Sung Ju Hwang
• Abstract要約: 本稿では,自己教師付き事前学習のためのテキストのドメイン適応マスキングとタスク適応マスキングを自動生成する手法を提案する。 本稿では,マスキング政策を学習する新しい強化学習フレームワークを提案する。 我々はいくつかの質問応答とテキスト分類データセットに基づいてニューラルマスク生成器(NMG)を検証する。
• 参考スコア（独自算出の注目度）: 63.195935452646815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method to automatically generate a domain- and task-adaptive maskings of the given text for self-supervised pre-training, such that we can effectively adapt the language model to a particular target task (e.g. question answering). Specifically, we present a novel reinforcement learning-based framework which learns the masking policy, such that using the generated masks for further pre-training of the target language model helps improve task performance on unseen texts. We use off-policy actor-critic with entropy regularization and experience replay for reinforcement learning, and propose a Transformer-based policy network that can consider the relative importance of words in a given text. We validate our Neural Mask Generator (NMG) on several question answering and text classification datasets using BERT and DistilBERT as the language models, on which it outperforms rule-based masking strategies, by automatically learning optimal adaptive maskings.
• Abstract（参考訳）: 本研究では,言語モデルを特定の目標タスク(例えば質問応答)に効果的に適応させることができるような,自己教師付き事前学習のためのテキストのドメイン適応マスキングとタスク適応マスキングを自動的に生成する手法を提案する。 具体的には、生成したマスクを用いて、ターゲット言語モデルのさらなる事前学習を行うことで、目に見えないテキストのタスクパフォーマンスを向上させることができる、新しい強化学習ベースのフレームワークを提案する。 我々は,エントロピー正規化と経験リプレイを用いたオフ・ポリティカル・アクタ・クリティックを用いて強化学習を行い,与えられたテキスト中の単語の相対的重要性を考慮できるトランスフォーマティブ・ポリシー・ネットワークを提案する。 我々は,BERT と DistilBERT を言語モデルとして用い,複数の質問応答とテキスト分類データセットを用いてニューラルマスク生成(NMG)を検証する。

関連論文リスト

• Language Model Adaptation to Specialized Domains through Selective Masking based on Genre and Topical Characteristics [4.9639158834745745]
  本稿では、ジャンルや話題情報を活用した革新的なマスキング手法を導入し、言語モデルを専門ドメインにカスタマイズする。 本手法では,その重要度に基づいて単語を優先順位付けし,マスキング手順を導出するランキング処理を取り入れた。 法域内での継続事前学習を用いて行った実験は、英語のLegalGLUEベンチマークにおいて、我々のアプローチの有効性を裏付けている。
  論文  参考訳（メタデータ） (2024-02-19T10:43:27Z)
• Investigating Masking-based Data Generation in Language Models [0.0]
  BERTと類似したアーキテクチャを持つモデルの特徴は、マスキング言語モデリングの目的である。 データ拡張は、機械学習で広く使われているデータ駆動技術である。 最近の研究は、NLP下流タスクのための人工的な拡張データを生成するためにマスク付き言語モデルを利用している。
  論文  参考訳（メタデータ） (2023-06-16T16:48:27Z)
• Self-Evolution Learning for Discriminative Language Model Pretraining [103.57103957631067]
  自己進化学習(Self-Evolution Learning、SE)は、単純で効果的なトークンマスキングと学習方法である。 SEは情報的だが未探索のトークンを学習することに集中し、新しいToken固有のラベル平滑化アプローチを導入してトレーニングを適応的に調整する。
  論文  参考訳（メタデータ） (2023-05-24T16:00:54Z)
• InforMask: Unsupervised Informative Masking for Language Model Pretraining [13.177839395411858]
  マスク付き言語モデルのトレーニングのための新しい教師なしマスキング戦略を提案する。 InforMaskはポイントワイド・ミューチュアル・インフォメーション(PMI)を利用して、マスクする最も情報性の高いトークンを選択する。
  論文  参考訳（メタデータ） (2022-10-21T07:10:56Z)
• Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models [54.569004548170824]
  注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-05T01:49:47Z)
• Masking as an Efficient Alternative to Finetuning for Pretrained Language Models [49.64561153284428]
  我々は、微調整によって修正する代わりに、事前訓練された重量に対する選択的な二乗マスクを学習する。 内在的評価では、マスキング言語モデルによって計算された表現が、下流タスクの解決に必要な情報を符号化していることを示す。
  論文  参考訳（メタデータ） (2020-04-26T15:03:47Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
  本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。