論文の概要: UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training

• arxiv url: http://arxiv.org/abs/2002.12804v1
• Date: Fri, 28 Feb 2020 15:28:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 02:12:37.423046
• Title: UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training
• Title（参考訳）: UniLMv2: 統一言語モデル事前学習のための擬似型言語モデル
• Authors: Hangbo Bao, Li Dong, Furu Wei, Wenhui Wang, Nan Yang, Xiaodong Liu, Yu Wang, Songhao Piao, Jianfeng Gao, Ming Zhou, Hsiao-Wuen Hon
• Abstract要約: 本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 152.63467944568094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose to pre-train a unified language model for both autoencoding and partially autoregressive language modeling tasks using a novel training procedure, referred to as a pseudo-masked language model (PMLM). Given an input text with masked tokens, we rely on conventional masks to learn inter-relations between corrupted tokens and context via autoencoding, and pseudo masks to learn intra-relations between masked spans via partially autoregressive modeling. With well-designed position embeddings and self-attention masks, the context encodings are reused to avoid redundant computation. Moreover, conventional masks used for autoencoding provide global masking information, so that all the position embeddings are accessible in partially autoregressive language modeling. In addition, the two tasks pre-train a unified language model as a bidirectional encoder and a sequence-to-sequence decoder, respectively. Our experiments show that the unified language models pre-trained using PMLM achieve new state-of-the-art results on a wide range of natural language understanding and generation tasks across several widely used benchmarks.
• Abstract（参考訳）: 本稿では,擬似マスク言語モデル(PMLM)と呼ばれる新しい訓練手法を用いて,自動符号化と部分的自己回帰言語モデリングタスクのための統一言語モデルを事前学習することを提案する。 マスク付きトークンを用いた入力テキストが与えられた場合,従来のマスクを用いて,不正トークンとコンテキスト間の相互関係を自動符号化により学習し,マスク付きスパン間の関係を部分的に自己回帰モデルにより学習する。 適切に設計された位置埋め込みと自己アテンションマスクにより、コンテキストエンコーディングは冗長な計算を避けるために再利用される。 さらに、オートエンコーディングに使用される従来のマスクはグローバルマスキング情報を提供しており、すべての位置埋め込みが部分的に自己回帰的な言語モデリングでアクセス可能である。 さらに、2つのタスクはそれぞれ双方向エンコーダとして統一言語モデルとシーケンス列デコーダを事前学習する。 実験により,PMLMを用いて事前学習した統一言語モデルは,広範囲の自然言語理解と生成タスクにおいて,様々なベンチマークを用いて新しい最先端結果が得られることがわかった。

関連論文リスト

• Language Model Adaptation to Specialized Domains through Selective Masking based on Genre and Topical Characteristics [4.9639158834745745]
  本稿では、ジャンルや話題情報を活用した革新的なマスキング手法を導入し、言語モデルを専門ドメインにカスタマイズする。 本手法では,その重要度に基づいて単語を優先順位付けし,マスキング手順を導出するランキング処理を取り入れた。 法域内での継続事前学習を用いて行った実験は、英語のLegalGLUEベンチマークにおいて、我々のアプローチの有効性を裏付けている。
  論文  参考訳（メタデータ） (2024-02-19T10:43:27Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• Word Order Matters when you Increase Masking [70.29624135819884]
  本研究では,事前学習対象自体に対する位置エンコーディングの除去効果について検討し,モデルが共起点のみの位置情報を再構成できるかどうかを検証した。 位置情報の必要性はマスキングの量とともに増大し、位置エンコーディングのないマスキング言語モデルではタスク上でこの情報を再構築できないことがわかった。
  論文  参考訳（メタデータ） (2022-11-08T18:14:04Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation [63.195935452646815]
  本稿では,自己教師付き事前学習のためのテキストのドメイン適応マスキングとタスク適応マスキングを自動生成する手法を提案する。 本稿では,マスキング政策を学習する新しい強化学習フレームワークを提案する。 我々はいくつかの質問応答とテキスト分類データセットに基づいてニューラルマスク生成器(NMG)を検証する。
  論文  参考訳（メタデータ） (2020-10-06T13:27:01Z)
• Probabilistically Masked Language Model Capable of Autoregressive Generation in Arbitrary Word Order [32.71489048856101]
  マスケード言語モデルと自己回帰言語モデルは2種類の言語モデルである。 本稿では,確率的マスキングモデル (PMLM) と呼ばれるマスキング言語モデルに対する確率論的マスキング手法を提案する。 我々は, u-PMLM が自己回帰型置換言語モデルと等価であることを証明した。
  論文  参考訳（メタデータ） (2020-04-24T07:38:19Z)
• Semi-Autoregressive Training Improves Mask-Predict Decoding [119.8412758943192]
  本研究では,マスク予測の半自己回帰動作を模倣した条件付きマスキング言語モデルSMARTを提案する。 SMARTでトレーニングされたモデルは、マスク予測デコードを使用すると高品質な変換を生成し、完全な自己回帰モデルで残りの性能ギャップを効果的に閉じる。
  論文  参考訳（メタデータ） (2020-01-23T19:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。