論文の概要: Rethinking Pre-pretraining

• arxiv url: http://arxiv.org/abs/2610.40051v1
• Date: Thu, 29 Oct 2026 13:45:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.091477
• Title: Rethinking Pre-pretraining
• Title（参考訳）: プレトレーニングの再考
• Abstract要約: 計算から合成前訓練 (PPT) への割り当ては, 計算マッチング実験において, 純粋自然言語学習に勝ることは決してないことを示す。 自然言語が不足している場合には、1億個以上のコーパスが、自然言語検証の損失ですべての総合カリキュラムを破る。 以上の結果から, 言語モデルトレーニングにおいて, 人工プレトレーニングのメリットは限定的であることが示唆された。
• 参考スコア（独自算出の注目度）: 53.038865594562736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We report that allocating compute to synthetic pre-pretraining (PPT) never outperforms pure natural-language training in our compute-matched experiments. This holds across four PPT curricula (k-Dyck, neural cellular automata (NCA), declarative reference corpora, and code) and three training regimes: data-constrained, data-unconstrained, and a high token-to-parameter-ratio regime (881M parameters trained on 50B tokens). When natural language is scarce, repeated epochs over a 100M-token corpus beat every synthetic curriculum on natural-language validation loss, with no consistent downstream accuracy advantage from PPT. We find that PPT gains reported in prior work are sensitive to the weight initialization scheme. In an NCA reproduction, we recover a 5.4% perplexity improvement from PPT under the original initialization scheme. An alternative scheme improves both methods, but the no-PPT baseline more, closing the gap between them. However, when PPT receives additional compute rather than a share of the natural-language budget, gains persist at small natural-language budgets even with improved initialization, but disappear by 1B tokens. Finally, models forget what they learn during PPT in subsequent natural-language training; interleaving the same data throughout training prevents forgetting, but does not significantly improve natural-language performance. Our results suggest limited benefits of synthetic pre-pretraining as a distinct training stage and motivate rethinking how such data are used in language model training.
• Abstract（参考訳）: 計算から合成前訓練 (PPT) への割り当ては, コンピュータマッチング実験において, 純粋自然言語学習よりも優れることはないことを報告した。 これは4つのPTキュリキュラ(k-Dyck、神経細胞オートマトン(NCA)、宣言的参照コーパス、コード)と3つのトレーニングレギュレーション – データ制約、データ非制約、高トークン対パラメータ比レギュレーション(50Bトークンでトレーニングされた881Mパラメータ)にまたがる。 自然言語が乏しい場合、1億個以上のコーパスを繰り返すエポックは、PPTから一貫した下流精度の利点なく、自然言語検証損失で全ての合成カリキュラムを破る。 先行研究で報告されたPT利得は重み初期化スキームに敏感であることが判明した。 NCA再生では,初期化方式によりPTPから5.4%のパープレキシティ改善が得られた。 代替のスキームはどちらの方法も改善するが、PPTのベースラインは向上し、両者のギャップを埋める。 しかし、PPTが自然言語予算のシェアではなく追加の計算を受けると、初期化が改良されても小さな自然言語予算でゲインが持続するが、1Bトークンで消滅する。 トレーニングを通じて同じデータをインターリーブすることで、忘れてはならないが、自然言語のパフォーマンスは大幅に向上しない。 以上の結果から, 言語モデルトレーニングにおいて, 人工プレトレーニングのメリットは限定的であることが示唆された。

関連論文リスト

• Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior [33.77127639920902]
  合成非自然言語データに対する事前事前訓練(PPT)は、言語モデル事前訓練(PT)におけるトークン効率を向上させる PPTは少なくとも1Bパラメータと2Bトークン以下のPT予算のモデルで、主にWebテキストでのみテストされている。
  論文  参考訳（メタデータ） (2026-09-30T14:27:37Z)
• Synthetic Pre-Pre-Training Improves Language Model Robustness to Noisy Pre-Training Data [32.68918472543787]
  大規模な言語モデルは、事前学習のためにWebスケールのコーパスに依存している。 データキュレーションは緩和されるが、そのようなノイズを排除できないため、訓練前のコーパスは実際にはノイズが残る。 本研究は,プレトレーニング段階において,軽量なプレトレーニング段階がノイズデータに抵抗するかどうかを考察する。
  論文  参考訳（メタデータ） (2026-05-11T07:40:39Z)
• Training Language Models via Neural Cellular Automata [8.490841030371453]
  本研究では, セルラーニューラルオートマトン(NCA)を用いて, 事前学習型大規模言語モデルのための合成非言語データを生成することを提案する。 NCAデータは、自然言語に類似した豊富な構造と統計を示しながら、制御可能で安価で大規模に生成できる。 164万個のNAAトークンの事前学習により、ダウンストリーム言語モデリングが最大6%向上し、コンバージェンスも最大1.6倍向上することがわかった。
  論文  参考訳（メタデータ） (2026-03-09T18:14:26Z)
• When to Stop Federated Learning: Zero-Shot Generation of Synthetic Validation Data with Generative AI for Early Stopping [5.0740578889286105]
  フェデレートラーニング(FL)は、分散デバイス間の協調モデルトレーニングを可能にする。 モデル性能の監視に生成AIを活用するゼロショット合成検証フレームワークを導入する。 本手法では,最適ラウンド付近でのトレーニングを適応的に停止し,計算資源の保存を行う。
  論文  参考訳（メタデータ） (2025-11-14T12:07:32Z)
• ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining [53.893792844055106]
  大規模言語モデルの事前学習は計算集約的であるが、多くのトークンが学習にわずかに寄与し、非効率になる。 Selective Efficient Language Modelingは、オンライントークンレベルのバッチ選択を行うことで、トレーニング効率と分散ロバスト性を改善するリスク認識アルゴリズムである。 GPT-2プレトレーニング実験の結果、ESLMはベースラインに比べて複雑度と下流性能の両面を維持・改善しながら、トレーニングFLOPを著しく低減することが示された。
  論文  参考訳（メタデータ） (2025-05-26T12:23:26Z)
• Reasoning to Learn from Latent Thoughts [61.2395150828168]
  本研究では,テキスト生成プロセスの根底にある表現的思考を明示的にモデル化し,推論することにより,事前学習データの効率を大幅に向上させることができることを示す。 1B LMは、少なくとも3回の反復でその性能をブートストラップし、生データに基づいてトレーニングされたベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-03-24T16:41:23Z)
• Improving Code Generation by Training with Natural Language Feedback [69.52985513422381]
  自然言語フィードバックから学習するアルゴリズムを訓練時に形式化し、それをILF(Language Feedback)と呼ぶ。 ILFはトレーニング中に少量の人間によるフィードバックしか必要とせず、テスト時に同じフィードバックを必要としないため、ユーザフレンドリでサンプル効率がよい。 Instly Basic Python Problems (MBPP)ベンチマークでは、ICFを使用してCodegen-Mono 6.1Bモデルのpass@1レートを38%改善しています。
  論文  参考訳（メタデータ） (2023-03-28T16:15:31Z)
• Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training [6.523198497365586]
  wav2vec 2.0やHuBERTのような自己教師型トランスフォーマーベースモデルは、音声認識(ASR)に対する既存のアプローチよりも大幅に改善されている。 単語誤り率 (WER) は半教師あり訓練 (SST) よりも若干優れていた。 さらに, 擬似ラベル付けにCoPTモデルを用い, これらのラベルをSSTで使用することにより, WERのさらなる改善がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-07-01T21:02:51Z)
• Emergent Communication Pretraining for Few-Shot Machine Translation [66.48990742411033]
  我々は、参照ゲームからの創発的コミュニケーションを介してニューラルネットワークを事前訓練する。 私たちの重要な前提は、実世界の環境の粗悪な近似として、画像に基づくコミュニケーションを基盤にすることで、帰納的に自然言語学習のモデルに偏りが生じる、ということです。
  論文  参考訳（メタデータ） (2020-11-02T10:57:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。