論文の概要: Investigating Masking-based Data Generation in Language Models

• arxiv url: http://arxiv.org/abs/2307.00008v1
• Date: Fri, 16 Jun 2023 16:48:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-09 14:02:05.823517
• Title: Investigating Masking-based Data Generation in Language Models
• Title（参考訳）: 言語モデルにおけるマスキングに基づくデータ生成の検討
• Authors: Ed S. Ma
• Abstract要約: BERTと類似したアーキテクチャを持つモデルの特徴は、マスキング言語モデリングの目的である。 データ拡張は、機械学習で広く使われているデータ駆動技術である。 最近の研究は、NLP下流タスクのための人工的な拡張データを生成するためにマスク付き言語モデルを利用している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The current era of natural language processing (NLP) has been defined by the prominence of pre-trained language models since the advent of BERT. A feature of BERT and models with similar architecture is the objective of masked language modeling, in which part of the input is intentionally masked and the model is trained to predict this piece of masked information. Data augmentation is a data-driven technique widely used in machine learning, including research areas like computer vision and natural language processing, to improve model performance by artificially augmenting the training data set by designated techniques. Masked language models (MLM), an essential training feature of BERT, have introduced a novel approach to perform effective pre-training on Transformer based models in natural language processing tasks. Recent studies have utilized masked language model to generate artificially augmented data for NLP downstream tasks. The experimental results show that Mask based data augmentation method provides a simple but efficient approach to improve the model performance. In this paper, we explore and discuss the broader utilization of these data augmentation methods based on MLM.
• Abstract（参考訳）: 自然言語処理(NLP)の現在の時代は、BERTの出現以来、事前訓練された言語モデルの卓越によって定義されてきた。 BERTと類似したアーキテクチャを持つモデルの特徴は、入力の一部を意図的にマスキングし、このマスキングされた情報を予測するためにモデルを訓練するマスキング言語モデリングの目的である。 データ拡張は、コンピュータビジョンや自然言語処理などの研究領域を含む機械学習で広く使われているデータ駆動技術であり、指定された技術によって設定されたトレーニングデータセットを人工的に拡張することにより、モデルパフォーマンスを向上させる。 BERT の重要な訓練機能である Masked Language Model (MLM) は、自然言語処理タスクにおいて、Transformer ベースのモデルで効果的な事前学習を行うための新しいアプローチを導入した。 最近の研究は、NLP下流タスクのための人工的な拡張データを生成するためにマスク付き言語モデルを利用している。 実験結果から,Maskに基づくデータ拡張手法は,モデルの性能向上にシンプルだが効率的なアプローチを提供することが示された。 本稿では,MLMに基づくこれらのデータ拡張手法の広範な活用について検討し,考察する。

関連論文リスト

• Deep Learning and Machine Learning -- Natural Language Processing: From Theory to Application [17.367710635990083]
  自然言語処理(NLP)と大規模言語モデル(LLM)の役割に焦点を当てる。 本稿では,データ前処理技術とHugging Faceのようなフレームワークを用いたトランスフォーマーモデルの実装について論じる。 マルチリンガルデータの扱い、バイアスの低減、モデルの堅牢性確保といった課題を強調している。
  論文  参考訳（メタデータ） (2024-10-30T09:35:35Z)
• Unsupervised Data Validation Methods for Efficient Model Training [0.0]
  自然言語処理(NLP)、テキスト音声処理(TTS)、音声テキスト処理(STT)、視覚言語モデル(VLM)は大規模なデータセットに大きく依存している。 本研究では,「品質データ」の定義,適切なデータ生成方法の開発,モデルトレーニングへのアクセシビリティ向上など,重要な分野について検討する。
  論文  参考訳（メタデータ） (2024-10-10T13:00:53Z)
• Language Model Adaptation to Specialized Domains through Selective Masking based on Genre and Topical Characteristics [4.9639158834745745]
  本稿では、ジャンルや話題情報を活用した革新的なマスキング手法を導入し、言語モデルを専門ドメインにカスタマイズする。 本手法では,その重要度に基づいて単語を優先順位付けし,マスキング手順を導出するランキング処理を取り入れた。 法域内での継続事前学習を用いて行った実験は、英語のLegalGLUEベンチマークにおいて、我々のアプローチの有効性を裏付けている。
  論文  参考訳（メタデータ） (2024-02-19T10:43:27Z)
• Iterative Mask Filling: An Effective Text Augmentation Method Using Masked Language Modeling [0.0]
  本稿では,変換器を用いたBERTモデルのフィル・マスク機能を利用した新しいテキスト拡張手法を提案する。 本手法では,文中の単語を反復的にマスキングし,言語モデル予測に置き換える。 実験の結果,提案手法は,特にトピック分類データセットにおいて,性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-01-03T16:47:13Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey [67.82942975834924]
  BERTのような大規模で事前訓練された言語モデルは、自然言語処理(NLP)の分野を大きく変えた。 本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について紹介する。
  論文  参考訳（メタデータ） (2021-11-01T20:08:05Z)
• Reprogramming Language Models for Molecular Representation Learning [65.00999660425731]
  本稿では,分子学習タスクのための事前学習言語モデルに対して,辞書学習(R2DL)による表現再プログラミングを提案する。 対比プログラムは、k-SVDソルバを用いて、高密度ソースモデル入力空間(言語データ)とスパースターゲットモデル入力空間(例えば、化学および生物学的分子データ)との間の線形変換を学習する。 R2DLは、ドメイン固有のデータに基づいて訓練されたアート毒性予測モデルの状態によって確立されたベースラインを達成し、限られたトレーニングデータ設定でベースラインを上回る。
  論文  参考訳（メタデータ） (2020-12-07T05:50:27Z)
• Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning [30.5853328612593]
  本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。 実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。 我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
  論文  参考訳（メタデータ） (2020-12-04T08:34:39Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Exploring Software Naturalness through Neural Language Models [56.1315223210742]
  ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。 この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
  論文  参考訳（メタデータ） (2020-06-22T21:56:14Z)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
  本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。