論文の概要: Generating Pretraining Tokens from Organic Data for Data-Bound Scaling
- arxiv url: http://arxiv.org/abs/2605.17849v1
- Date: Mon, 18 May 2026 04:44:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.811196
- Title: Generating Pretraining Tokens from Organic Data for Data-Bound Scaling
- Title（参考訳）: データ境界スケーリングのための有機データからの事前学習トークンの生成
- Abstract要約: SynProは、LLMが限られた有機データからより深く学習するのに役立つ合成データ生成フレームワークである。
我々は,DCLMベースラインからチンチラ最適トークン(0.8Bおよび2.2B)の10%を有する400Mおよび1.1Bモデルを事前訓練した。
以上の結果から, 有機データは標準的繰り返しによって著しく過小評価されていることが明らかとなった。
- 参考スコア（独自算出の注目度）: 28.30636190022749
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM pretraining is shifting from a compute-bound to a data-bound regime, where available human (organic) text falls far short of scaling demands. However, reaching the data-bound regime does not mean the model has fully utilized its organic corpus. In this paper, we introduce SynPro, a synthetic data generation framework that helps LLMs more thoroughly learn from limited organic data. SynPro applies two operations, rephrasing and reformat, that present the same organic source in diverse forms to facilitate deeper learning without introducing external information. Both generators are optimized via reinforcement learning with quality, faithfulness, and data influence rewards, and are continuously updated as pretraining plateaus to target content the model has yet to absorb. We pretrain 400M and 1.1B models with 10% of their Chinchilla-optimal tokens (0.8B and 2.2B) from DCLM-Baseline, reflecting a realistic data-bound regime in frontier pretraining. Our results reveal that organic data is significantly underutilized by standard repetition: SynPro unlocks 3.7-5.2x the effective tokens of repetition, even surpassing the non-data-bound oracle that trains on equivalent unique data at the 1.1B scale. Analyses confirm that faithful, model-aware synthesis sustains data-bound scaling without causing distribution collapse. We open-source our code at https://github.com/cxcscmu/SynPro.
- Abstract（参考訳）: LLMプリトレーニングは、計算バウンドからデータバウンドレシエーションに移行している。
しかし、データバウンド体制に達することは、モデルがその有機コーパスを完全に活用したという意味ではない。
本稿では,LLMが限られた有機データからより深く学習するのに役立つ合成データ生成フレームワークであるSynProを紹介する。
SynProは、外部情報を導入することなくより深い学習を促進するために、さまざまな形で同じ有機源を示すリフレーズとリフォームという2つの操作を適用している。
両方のジェネレータは、品質、忠実さ、データ影響の報奨を伴う強化学習によって最適化され、モデルがまだ吸収していないコンテンツを対象とする事前学習高原として継続的に更新される。
我々は,DCLMベースラインからチンチラ最適トークン(0.8Bおよび2.2B)の10%を有する400Mおよび1.1Bモデルをプレトレーニングし,フロンティア事前トレーニングにおける現実的なデータバウンドの仕組みを反映した。
SynProは3.7-5.2倍の有効トークンをアンロックし、1.1Bスケールで同等のユニークなデータをトレーニングする非データバウンドオラクルを越えさえします。
分析は、忠実でモデル対応の合成が、分散崩壊を引き起こすことなく、データバウンドスケーリングを持続することを確認した。
ソースコードはhttps://github.com/cxcscmu/SynPro.comで公開しています。
関連論文リスト
- How Can We Synthesize High-Quality Pretraining Data? A Systematic Study of Prompt Design, Generator Model, and Source Data [27.516126966056632]
我々は、Webテキストを合成事前学習データに書き換える際の重要な要素を同定する。
構造化された出力フォーマットは、キュレートされたWebベースラインと以前の合成方法の両方より一貫して優れています。
486ビリオンのオープンデータセットである textbftextscFinePhrase を開発した。
論文 参考訳（メタデータ） (2026-04-15T15:24:59Z) - ReTabSyn: Realistic Tabular Data Synthesis via Reinforcement Learning [13.307228241887346]
深層生成モデルは、合成トレーニングデータを生成することによって、データの不足とプライバシに役立ちます。
データ効率を高めるためには、モデルが条件付き分布の学習を優先すべきである。
このアプローチを使って言語モデルベースのジェネレータを実証的に微調整し、小さなサンプルサイズ、クラス不均衡、分散シフトのベンチマークで、ReTabSynは一貫して最先端のベースラインを上回っています。
論文 参考訳（メタデータ） (2026-03-11T14:31:07Z) - Demystifying Synthetic Data in LLM Pre-training: A Systematic Study of Scaling Laws, Benefits, and Pitfalls [25.294408301653576]
大規模言語モデル(LLM)のスケーリングにおいて、トレーニングデータは重要な役割を果たすが、高品質なデータは供給が限られている。
自然のWebデータ、多様な合成タイプ(言い換えテキスト、生成された教科書)、および自然と合成データの混合を比較した。
合成テキストの事前学習は、天然のWebテキストの事前学習よりも高速ではない。
論文 参考訳（メタデータ） (2025-10-02T03:24:42Z) - Synthetic bootstrapped pretraining [52.92577542049469]
本稿では,SBP(Synthetic Bootstrapped Pretraining)について述べる。
SBPはまず、事前学習データセットから文書間の関係のモデルを学び、次にそれを利用して巨大な新しいコーパスを合成する。
SBPは高い繰り返しベースラインを継続的に改善し、オラクル上界で達成可能な性能改善のかなりの部分を提供する。
論文 参考訳（メタデータ） (2025-09-17T22:28:27Z) - BeyondWeb: Lessons from Scaling Synthetic Data for Trillion-scale Pretraining [12.935276089987662]
プレトレーニングのための高品質な合成データを生成する合成データ生成フレームワークであるBeyondWebを紹介した。
BeyondWebは、従来のWebスケールデータセットの機能を大幅に拡張した。
オープンなWebデータよりも最大7.7倍、Nemotron-Synthより2.7倍高速なトレーニングを提供する。
論文 参考訳（メタデータ） (2025-08-14T17:55:47Z) - CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training [63.07024608399447]
本稿では,事前学習環境でデータ混合物を発見し,評価し,精製する自動フレームワークを提案する。
ClimbLabは、20のクラスタを研究用グラウンドとして、フィルタされた1.2トリリオントーケンコーパスであり、ClimbMixはコンパクトだが強力な400ビリオントーケンデータセットである。
論文 参考訳（メタデータ） (2025-04-17T17:58:13Z) - Scaling Laws of Synthetic Data for Language Models [125.41600201811417]
プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。
提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
論文 参考訳（メタデータ） (2025-03-25T11:07:12Z) - DreamMask: Boosting Open-vocabulary Panoptic Segmentation with Synthetic Data [61.62554324594797]
オープンな語彙設定でトレーニングデータを生成する方法と、実データと合成データの両方でモデルをトレーニングする方法を探索するDreamMaskを提案する。
一般的に、DreamMaskは大規模なトレーニングデータの収集を著しく単純化し、既存のメソッドのプラグイン・アンド・プレイ・エンハンスメントとして機能する。
例えば、COCOで訓練しADE20Kで試験すると、ドリームマスクを装備したモデルは以前の最先端の2.1% mIoUよりも優れていた。
論文 参考訳（メタデータ） (2025-01-03T19:00:00Z) - Generating Realistic Tabular Data with Large Language Models [49.03536886067729]
大規模言語モデル(LLM)は多様なタスクに使われてきたが、特徴と対象変数の正確な相関は捉えていない。
そこで本研究では,LLMに基づく3つの重要な改良を加えて,実データの特徴クラス相関を正しく把握する手法を提案する。
実験の結果,本手法は下流タスクにおいて,20個のデータセット上で10個のSOTAベースラインを著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2024-10-29T04:14:32Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳（メタデータ） (2023-05-16T07:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。