論文の概要: It's All Training: A Fully Synthetic Single-Stage Recipe for LLMs

• arxiv url: http://arxiv.org/abs/2609.37891v1
• Date: Tue, 29 Sep 2026 15:58:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.718304
• Title: It's All Training: A Fully Synthetic Single-Stage Recipe for LLMs
• Title（参考訳）: LLMのための完全合成シングルステージレシピ(動画あり)
• Abstract要約: 58,698のウィキペディア記事から派生した最初のオープンソース合成コーパスであるSynTHについて述べる。 我々は、SynTHが、トレーニングデータのごく一部から、競争力のあるジェネリストモデルを生成することができることを示す。 SynTHデータセットとBaguettotronモデルのスイートをパーミッシブライセンスでリリースしています。
• 参考スコア（独自算出の注目度）: 4.465393344859287
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current pre-training datasets are derived from web crawls, with all their issues, and were not designed to support mid- and post-training pipelines--for instance, they contain little explicit reasoning. Thus, many frontier labs have begun to develop their own internal datasets, starting from state-of-the-art models, to augment their pre-training data mix, eg, with reasoning traces to address cold-start problems. While demonstratively effective, none of these datasets are public, and the effect of this so-called synthetic data on knowledge and skill acquisition of language models, including small ones, remains poorly understood. We present SYNTH, the first open-source synthetic corpus derived from 58,698 Wikipedia articles that collapses pre-, mid-, and post-training into a single training stage via structured amplification of curated encyclopedic seeds. We evaluate SYNTH by training a suite of models: a 56M tiny model (Monad), 0.3B-0.6B dense models (Baguettotron), and a 13B / 1B-active MoE. At iso-compute, SYNTH outperforms filtered web data, and our models remain competitive with similarly-sized open-weight baselines. Because SYNTH is back-translated from grounded passages, SYNTH-trained models achieve high factual precision despite 10-140x fewer training tokens, with memorization targeted by the seed corpus. These results show that synthetic datasets, including our SYNTH dataset, are capable of producing competitive generalist models from a fraction of the training data, enabling rapid iteration as the frontier advances. These findings open up possibilities for both generalist models with significantly increased data efficiency, as well as domain-specific models where no instruction or conversational data is available. Finally, we publicly release our SYNTH dataset and the suite of Baguettotron models under a permissive license, thus supporting open-source language model development.
• Abstract（参考訳）: 現在の事前トレーニングデータセットは、すべての問題のあるWebクロールから派生したもので、中間および後トレーニングパイプラインをサポートするように設計されていない — 例えば、明確な推論はほとんど含まれていない。 そのため、多くのフロンティア研究所は、最先端のモデルから始まる独自の内部データセットを開発し始めており、トレーニング済みのデータミックス、例えば、コールドスタート問題に対処するためのトレースを拡大している。 実証的に効果的ではあるが、これらのデータセットはいずれも公開されておらず、このいわゆる合成データが、小さなデータセットを含む言語モデルの知識とスキル獲得に与える影響は、いまだに理解されていない。 本研究は,5,698件のウィキペディア記事から派生した初のオープンソース合成コーパスであるSynTHを,キュレートした百科事典種子の構造化増幅により,前・中・後訓練段階に分解する。 56Mの小型モデル(モナド)、0.3B-0.6Bの高密度モデル(バゲットトロン)、13B/1BのアクティブなMoEをトレーニングすることでSynTHを評価する。 iso-computeでは、SynTHはフィルタリングされたWebデータより優れており、我々のモデルは同様のサイズのオープンウェイトベースラインと競合するままです。 SynTHは、接地された通路から逆転写されるため、SynTHで訓練されたモデルは、10～140倍のトレーニングトークンを減らし、種子コーパスによって記憶されるにもかかわらず、高い実写精度を達成する。 これらの結果から、SynTHデータセットを含む合成データセットは、トレーニングデータのごく一部から競争的なジェネリストモデルを生成することが可能であり、フロンティアの進行に伴って、迅速な反復を可能にすることが示された。 これらの発見は、データ効率が大幅に向上した一般モデルと、命令や会話データがないドメイン固有モデルの両方の可能性を開く。 最後に,SynTHデータセットとBaguettotronモデルのスイートをパーミッシブライセンスで公開し,オープンソース言語モデル開発をサポートする。

関連論文リスト

• Generating Pretraining Tokens from Organic Data for Data-Bound Scaling [28.30636190022749]
  SynProは、LLMが限られた有機データからより深く学習するのに役立つ合成データ生成フレームワークである。 我々は,DCLMベースラインからチンチラ最適トークン(0.8Bおよび2.2B)の10%を有する400Mおよび1.1Bモデルを事前訓練した。 以上の結果から, 有機データは標準的繰り返しによって著しく過小評価されていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-05-18T04:44:40Z)
• Demystifying Synthetic Data in LLM Pre-training: A Systematic Study of Scaling Laws, Benefits, and Pitfalls [25.294408301653576]
  大規模言語モデル(LLM)のスケーリングにおいて、トレーニングデータは重要な役割を果たすが、高品質なデータは供給が限られている。 自然のWebデータ、多様な合成タイプ(言い換えテキスト、生成された教科書)、および自然と合成データの混合を比較した。 合成テキストの事前学習は、天然のWebテキストの事前学習よりも高速ではない。
  論文  参考訳（メタデータ） (2025-10-02T03:24:42Z)
• Scaling Laws of Synthetic Data for Language Models [125.41600201811417]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• Self-Improving Diffusion Models with Synthetic Data [12.597035060380001]
  シンセティックデータを用いた自己IM拡散モデル(SIMS)は、拡散モデルのための新しい訓練概念である。 SIMSは自己合成データを使用して生成プロセス中に負のガイダンスを提供する。 MADを使わずに、自己生成合成データに対して反復的に訓練できる、最初の予防的生成AIアルゴリズムである。
  論文  参考訳（メタデータ） (2024-08-29T08:12:18Z)
• Private Synthetic Data Meets Ensemble Learning [15.425653946755025]
  機械学習モデルが合成データに基づいてトレーニングされ、実際のデータにデプロイされると、しばしばパフォーマンス低下が発生する。 実データを用いた場合のパフォーマンス向上を目標として,下流モデルのトレーニングのための新たなアンサンブル戦略を導入する。
  論文  参考訳（メタデータ） (2023-10-15T04:24:42Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。