論文の概要: Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior

• arxiv url: http://arxiv.org/abs/2609.39827v1
• Date: Wed, 30 Sep 2026 14:27:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.888689
• Title: Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior
• Title（参考訳）: 合成事前学習の生存規模はスケールするが、文法的事前学習にはならない
• Abstract要約: 合成非自然言語データに対する事前事前訓練(PPT)は、言語モデル事前訓練(PT)におけるトークン効率を向上させる PPTは少なくとも1Bパラメータと2Bトークン以下のPT予算のモデルで、主にWebテキストでのみテストされている。
• 参考スコア（独自算出の注目度）: 33.77127639920902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-pretraining (PPT) on synthetic non-natural language data improves token efficiency during language model pre-training (PT). Prior work attributes this gain to a grammatical prior, i.e., a structural inductive bias learned during PPT that transfers to natural language grammar. However, PPT has only been tested on models of at most 1B parameters and PT budgets below 2B tokens on predominantly web text. It is unknown whether PPT is effective at larger scales and under more realistic PT data mixtures that combine diverse sources (e.g., code and math). We therefore present a comprehensive study on PPT spanning five PPT tasks, four PT data mixtures, four parameter scales (500M to 7B), and PT budgets of up to 100B tokens. Our results demonstrate that the downstream performance and token efficiency gains of PPT persist at scale, e.g., saving at least 21B PT tokens at the 3B scale. However, in contrast to prior work, we find no consistent evidence that these gains stem from a grammatical prior. Downstream performance does not consistently align with grammatical acceptability across model sizes. Instead, we find that downstream gains arise from PPT tasks that improve long-range retrieval. Finally, PPT performance gains are robust to how PT data mixtures are composed and diminish only when web text is absent. Overall, PPT is a low-cost addition to PT, and future PPT task design should target long-range retrieval rather than natural language grammar.
• Abstract（参考訳）: 合成非自然言語データに対する事前事前訓練(PPT)は、言語モデル事前訓練(PT)におけるトークン効率を向上させる。 先行研究は、この利得を文法的な先行性、すなわち、自然言語文法に遷移するPT中に学んだ構造的帰納的バイアスとみなす。 しかしながら、PTは少なくとも1Bパラメータのモデルでのみテストされ、PT予算は2Bトークン以下で、主にWebテキスト上でテストされている。 PPTが大規模かつより現実的なPTデータ混合(例えば、コードと数学)に有効であるかどうかは不明である。 そこで本研究では,5つのPTタスク,4つのPTデータ混合,4つのパラメータスケール(500Mから7B),最大100BトークンのPT予算を網羅的に検討した。 以上の結果から,PPTのダウンストリーム性能とトークン効率は3Bスケールで少なくとも21BのPTトークンを節約できることがわかった。 しかし、先行研究とは対照的に、これらの利得が文法的な先行に由来するという一貫した証拠は見つからない。 下流のパフォーマンスは、モデルサイズ全体にわたる文法的受容性と一貫して一致しない。 代わりに、長距離検索を改善するPTタスクから下流のゲインが生まれる。 最後に、PPTのパフォーマンス向上は、PTデータの混合が構成され、Webテキストが欠落している場合にのみ減少する方法に頑健である。 全体として、PTはPTの低コストな追加であり、将来のPTTタスク設計は自然言語文法よりも長距離検索を目標とすべきである。

関連論文リスト

• Synthetic Pre-Pre-Training Improves Language Model Robustness to Noisy Pre-Training Data [32.68918472543787]
  大規模な言語モデルは、事前学習のためにWebスケールのコーパスに依存している。 データキュレーションは緩和されるが、そのようなノイズを排除できないため、訓練前のコーパスは実際にはノイズが残る。 本研究は,プレトレーニング段階において,軽量なプレトレーニング段階がノイズデータに抵抗するかどうかを考察する。
  論文  参考訳（メタデータ） (2026-05-11T07:40:39Z)
• DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning [14.975436239088312]
  ソフトプロンプトを短いソフトプロンプトと2つの異なる学習率で最適化された低ランク行列に分解するDePTを提案する。 DePTは、いくつかのシナリオにおいて、完全な微調整ベースラインを含む最先端のPEFTアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-11T00:02:05Z)
• How Does In-Context Learning Help Prompt Tuning? [55.78535874154915]
  微調整された大きな言語モデルは、急速に拡大するスケールのために、ますます実用的ではないものになりつつある。 これはプロンプトチューニング(PT)のようなパラメータ効率のよい適応手法の使用を動機付け、凍ったモデルに少数のチューナブルな埋め込みを追加する。 近年,Singhalら (2022) はPTとICLを組み合わせた命令プロンプトチューニング (IPT) を提案している。
  論文  参考訳（メタデータ） (2023-02-22T17:45:12Z)
• FPT: Improving Prompt Tuning Efficiency via Progressive Training [84.25195519945215]
  本稿では,即時チューニングの訓練効率を向上させるために,Fast Prompt Tuningを提案する。 我々は、FPTが30%以上のトレーニング計算を節約し、同等のパフォーマンスを実現することを示した。
  論文  参考訳（メタデータ） (2022-11-13T08:00:29Z)
• Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training [6.523198497365586]
  wav2vec 2.0やHuBERTのような自己教師型トランスフォーマーベースモデルは、音声認識(ASR)に対する既存のアプローチよりも大幅に改善されている。 単語誤り率 (WER) は半教師あり訓練 (SST) よりも若干優れていた。 さらに, 擬似ラベル付けにCoPTモデルを用い, これらのラベルをSSTで使用することにより, WERのさらなる改善がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-07-01T21:02:51Z)
• Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
  最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。 ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。 DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
  論文  参考訳（メタデータ） (2022-05-23T10:11:50Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• On the Complementarity between Pre-Training and Back-Translation for Neural Machine Translation [63.914940899327966]
  事前学習(PT)と後方翻訳(BT)は単言語データを利用するためのシンプルで強力な方法である。 本稿では,PTとBTの相補性について検討する。 我々は、WMT16英語-ルーマニア語と英語-ロシア語ベンチマークで最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2021-10-05T04:01:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。