論文の概要: Should We Still Pretrain Encoders with Masked Language Modeling?

• arxiv url: http://arxiv.org/abs/2507.00994v1
• Date: Tue, 01 Jul 2025 17:45:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.766917
• Title: Should We Still Pretrain Encoders with Masked Language Modeling?
• Title（参考訳）: マスク言語モデリングによるエンコーダの事前訓練は必要か?
• Authors: Hippolyte Gisserot-Boukhlef, Nicolas Boizard, Manuel Faysse, Duarte M. Alves, Emmanuel Malherbe, André F. T. Martins, Céline Hudelot, Pierre Colombo,
• Abstract要約: 最近の証拠は、コーサル言語モデリング(CLM)で事前訓練されたデコーダモデルをエンコーダとして効果的に再利用できることを示唆している。 2億1000万から10億のパラメータの合計30モデルをトレーニングし、15,000以上の微調整と評価を実行します。 高いレベルのCLMを用いたトレーニングでは,テキスト表現タスク間で性能が向上する一方で,CLM学習モデルの方がデータ効率が良く,微調整安定性が向上していることがわかった。
• 参考スコア（独自算出の注目度）: 27.19054714197245
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Learning high-quality text representations is fundamental to a wide range of NLP tasks. While encoder pretraining has traditionally relied on Masked Language Modeling (MLM), recent evidence suggests that decoder models pretrained with Causal Language Modeling (CLM) can be effectively repurposed as encoders, often surpassing traditional encoders on text representation benchmarks. However, it remains unclear whether these gains reflect an inherent advantage of the CLM objective or arise from confounding factors such as model and data scale. In this paper, we address this question through a series of large-scale, carefully controlled pretraining ablations, training a total of 30 models ranging from 210 million to 1 billion parameters, and conducting over 15,000 fine-tuning and evaluation runs. We find that while training with MLM generally yields better performance across text representation tasks, CLM-trained models are more data-efficient and demonstrate improved fine-tuning stability. Building on these findings, we experimentally show that a biphasic training strategy that sequentially applies CLM and then MLM, achieves optimal performance under a fixed computational training budget. Moreover, we demonstrate that this strategy becomes more appealing when initializing from readily available pretrained CLM models (from the existing LLM ecosystem), reducing the computational burden needed to train best-in-class encoder models. We release all project artifacts at https://hf.co/MLMvsCLM to foster further research.
• Abstract（参考訳）: 高品質なテキスト表現を学習することは、幅広いNLPタスクに不可欠である。 エンコーダ事前訓練は伝統的にマスケッド言語モデリング(MLM)に依存してきたが、最近の証拠は、コーサル言語モデリング(CLM)で事前訓練されたデコーダモデルがエンコーダとして効果的に再利用可能であることを示唆している。 しかし、これらの利得がCLMの目的に固有の利点を反映しているのか、あるいはモデルやデータスケールのような相反する要因から生じるのかは定かではない。 本稿では,大規模かつ慎重に制御された事前学習の実践を通じてこの問題に対処し,2億1000万から10億のパラメータの合計30モデルをトレーニングし,15,000以上の微調整と評価を実行した。 MLM を用いたトレーニングでは,テキスト表現タスク全体の性能が向上するのに対し,CLM の学習モデルの方がデータ効率が良く,微調整安定性が向上していることがわかった。 これらの結果に基づいて, CLM を逐次適用し, そして MLM を逐次適用したバイファシックトレーニング戦略が, 一定の計算訓練予算の下で最適性能を達成できることを実験的に示す。 さらに,既存のLCMエコシステムから利用可能なCLMモデルから初期化することで,最良クラスエンコーダモデルの訓練に必要な計算負担を低減できることを示す。 我々は、さらなる研究を促進するために、すべてのプロジェクトアーティファクトをhttps://hf.co/MLMvsCLMでリリースします。

関連論文リスト

• From Text to Time? Rethinking the Effectiveness of the Large Language Model for Time Series Forecasting [22.052783052469344]
  時系列予測のバックボーンとして事前訓練された大言語モデル(LLMs)を用いることは、近年、大きな研究関心を集めている。 小さなデータセット上でのLCMベースのモデルのトレーニングとテストは、しばしばDecoderとDecoderがデータセットに過度に適応するようになることを観察する。 大規模な実験により、LSMのバックボーンはある程度の可能性を証明しているが、予測性能は限られていることが明らかになった。
  論文  参考訳（メタデータ） (2025-04-09T13:20:09Z)
• Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
  本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。 提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
  論文  参考訳（メタデータ） (2025-04-02T20:33:27Z)
• Large Language Models are Few-shot Multivariate Time Series Classifiers [23.045734479292356]
  大規模言語モデル (LLM) は時系列解析に広く応用されている。 しかし、数発の分類(すなわち重要な訓練シナリオ)におけるそれらの実用性は過小評価されている。 データ不足を克服するために,LLMの学習済み知識を幅広く活用することを目的としている。
  論文  参考訳（メタデータ） (2025-01-30T03:59:59Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Aligning Large Language Models via Fine-grained Supervision [20.35000061196631]
  事前訓練された大規模言語モデル(LLM)は、一貫性のある記事を生成するのに優れていますが、そのアウトプットは非現実的、有毒、あるいはユーザの期待に沿わないかもしれません。 現在のアプローチは、モデルアライメントを改善するために、人間のフィードバックによる強化学習を使うことに重点を置いている。 トークンレベルの微粒化によるLCMアライメント向上手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T20:21:45Z)
• LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders [34.421335513040795]
  大規模デコーダのみの言語モデル(LLM)は、今日のNLPタスクとベンチマークのほとんどで最先端のモデルである。 LLM2Vecは、任意のデコーダのみのLCMを強力なテキストエンコーダに変換する、単純な教師なしアプローチである。
  論文  参考訳（メタデータ） (2024-04-09T02:51:05Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
  本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。 我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。 結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-04-13T21:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。