Fugu-MT 論文翻訳(概要): Maximizing Efficiency of Language Model Pre-training for Learning Representation

論文の概要: Maximizing Efficiency of Language Model Pre-training for Learning Representation

arxiv url: http://arxiv.org/abs/2110.06620v1
Date: Wed, 13 Oct 2021 10:25:06 GMT
ステータス: 処理完了
システム内更新日: 2021-10-14 13:40:02.426968
Title: Maximizing Efficiency of Language Model Pre-training for Learning Representation
Title（参考訳）: 学習表現のための言語モデル事前学習の最大化
Authors: Junmo Kang, Suwon Shin, Jeonghwan Kim, Jaeyoung Jo, Sung-Hyon Myaeng
Abstract要約: ELECTRAは、事前訓練された言語モデルの計算効率を改善するための新しいアプローチである。本研究は,事前学習プロセスの効率を最大化する適応早期終了戦略を提案する。
参考スコア（独自算出の注目度）: 6.518508607788086
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pre-trained language models in the past years have shown exponential growth in model parameters and compute time. ELECTRA is a novel approach for improving the compute efficiency of pre-trained language models (e.g. BERT) based on masked language modeling (MLM) by addressing the sample inefficiency problem with the replaced token detection (RTD) task. Our work proposes adaptive early exit strategy to maximize the efficiency of the pre-training process by relieving the model's subsequent layers of the need to process latent features by leveraging earlier layer representations. Moreover, we evaluate an initial approach to the problem that has not succeeded in maintaining the accuracy of the model while showing a promising compute efficiency by thoroughly investigating the necessity of the generator module of ELECTRA.
Abstract（参考訳）: 過去数年間の事前訓練された言語モデルでは、モデルパラメータと計算時間の増加が指数関数的に見られた。 ELECTRAは、置換トークン検出(RTD)タスクでサンプル不効率問題に対処することで、マスク付き言語モデリング(MLM)に基づく事前訓練された言語モデル(例えばBERT)の計算効率を改善するための新しいアプローチである。本研究は,事前学習プロセスの効率を最大化するための適応型早期終了戦略を提案する。さらに,ELECTRA のジェネレータモジュールの必要性を徹底的に検討することにより,計算効率を向上しつつ,モデルの精度維持に成功しなかった問題に対する初期的アプローチを評価する。

関連論文リスト

Is Tokenization Needed for Masked Particle Modelling? [8.79008927474707]
Masked Particle Modeling (MPM) は、無順序集合の表現表現を構築するための自己教師付き学習スキームである。実装における非効率に対処し、より強力なデコーダを組み込むことにより、MPMを改善する。これらの新しい手法は、ジェットの基礎モデルのための新しいテストベッドにおいて、オリジナルのMPMからのトークン化学習目標よりも優れていることを示す。
論文参考訳（メタデータ） (2024-09-19T09:12:29Z)
Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文参考訳（メタデータ） (2024-09-02T22:35:03Z)
Learning Evaluation Models from Large Language Models for Sequence Generation [44.22820310679188]
大規模言語モデルは、シーケンス生成評価において最先端のパフォーマンスを達成するが、典型的には多数のパラメータを持つ。テキスト評価用textbfcapability textbftransfer 法である textbfECT を提案し,その評価能力を LLM から比較的軽量な言語モデルに転送する。提案するECTに基づいて、ChatGPTから様々な評価モデルを学び、それらを報酬モデルとして利用してシーケンス生成モデルを改善する。
論文参考訳（メタデータ） (2023-08-08T16:41:16Z)
Investigating Masking-based Data Generation in Language Models [0.0]
BERTと類似したアーキテクチャを持つモデルの特徴は、マスキング言語モデリングの目的である。データ拡張は、機械学習で広く使われているデータ駆動技術である。最近の研究は、NLP下流タスクのための人工的な拡張データを生成するためにマスク付き言語モデルを利用している。
論文参考訳（メタデータ） (2023-06-16T16:48:27Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
論文参考訳（メタデータ） (2022-04-13T21:39:15Z)
Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2022-03-09T17:26:53Z)
Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
論文参考訳（メタデータ） (2021-10-21T13:04:21Z)
Surrogate Locally-Interpretable Models with Supervised Machine Learning Algorithms [8.949704905866888]
近年,従来の統計的手法よりも予測性能が優れているため,機械学習アルゴリズムが普及している。主な焦点は解釈可能性であり、結果として得られるサロゲートモデルは、合理的に優れた予測性能を持つ。
論文参考訳（メタデータ） (2020-07-28T23:46:16Z)
Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。その微分可能性を利用してモデルをより効果的に活用する方法を示す。
論文参考訳（メタデータ） (2020-05-16T19:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。