論文の概要: Learning with Synthetic Data via SGD in High-Dimensional Linear Regression
- arxiv url: http://arxiv.org/abs/2609.09572v1
- Date: Wed, 09 Sep 2026 00:53:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.857463
- Title: Learning with Synthetic Data via SGD in High-Dimensional Linear Regression
- Title（参考訳）: 高次元線形回帰におけるSGDによる合成データの学習
- Abstract要約: モデルシフトを伴う高次元線形回帰法において,合成データが1パスSGDの一般化に与える影響について検討した。
混合トレーニングは強力なモデル崩壊を引き起こすが、2段階トレーニングは第1段階でのみ合成データを使用することでフロアを避ける。
- 参考スコア（独自算出の注目度）: 29.71683151194804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Synthetic data has become a promising way to scale model training beyond limited human-generated data but it may also induce strong model collapse (Dohmatob et al., 2024), where any fixed fraction of synthetic data prevents model performance from improving under data scaling, leaving a non-vanishing excess risk floor. In this paper, we study how synthetic data affects the generalization of one-pass SGD in high-dimensional linear regression with model shift. We establish finite-sample risk bounds for mixed and two-stage training, separating standard bias and variance from source-mismatch effects, namely fluctuation and persistent drift under mixing and filtered initialization bias under two-stage. These bounds reveal a sharp contrast: mixed training induces strong model collapse, while two-stage training avoids the floor by using synthetic data only in the first stage, showing that collapse is not inevitable under a simple data curriculum. Under a random sketch model, we further obtain scaling laws for both protocols, with tight results for mixed training in the optimization-saturated regime. These laws show that larger models may amplify synthetic-induced degradation under mixing, and quantify how high-quality synthetic pretraining may reduce bias in two-stage training. Finally, we establish an exact finite-sample necessary-and-sufficient condition for two-stage training to strictly outperform real-only training under the same real-data budget and identical real-stage updates. Overall, our results highlight that synthetic data is neither inherently harmful nor beneficial; its effect depends critically on both its quality and the training protocol used to incorporate it.
- Abstract（参考訳）: 合成データは、限られた人為的データを超えてモデルトレーニングをスケールする有望な方法となっているが、強力なモデル崩壊を引き起こす可能性がある(Dohmatob et al , 2024)。
本稿では,合成データがモデルシフトを伴う高次元線形回帰におけるワンパスSGDの一般化に与える影響について検討する。
混合および二段階学習における有限サンプルリスクバウンダリを確立し、標準バイアスと分散をソースミスマッチ効果、すなわち混合時の揺らぎと持続ドリフトとを分離し、二段階の初期化バイアスをフィルタする。
混合トレーニングは強力なモデル崩壊を誘発する一方、2段階トレーニングは第1段階でのみ合成データを使用することでフロアを回避し、単純なデータカリキュラムでは崩壊は避けられないことを示す。
ランダムなスケッチモデルの下では、最適化・飽和状態における混合トレーニングの厳密な結果により、両方のプロトコルのスケーリング法則をさらに獲得する。
これらの法則は、より大型のモデルが混合下での合成誘起劣化を増幅し、高品質な合成事前訓練が2段階の訓練におけるバイアスを減少させる可能性を定量的に示している。
最後に, 2段階トレーニングにおいて, 同じ実データ予算と同一の実データ更新の下で, 厳密な実データトレーニングを達成するために, 正確な有限サンプル必要十分条件を確立する。
総合的な結果から,合成データは本質的に有害でも有益でもないことが示唆された。
関連論文リスト
- Learning from Synthetic Data without Model Collapse in Iterative Instruction Tuning [38.36757975609017]
そこで本研究では,合成データの自己改善による指導チューニングの問題点について検討する。
本研究では,障害誘導型データ生成と境界認識不確実性キュレーションを組み合わせた2段階のフレームワークであるKITEを提案する。
論文 参考訳（メタデータ） (2026-07-19T03:20:01Z) - On the Dangers of Bootstrapping Generation for Continual Learning and Beyond [8.530455607001828]
本稿では,合成データが学習目的に有意なバイアスやばらつきをもたらすことを示す統計分析を行った。
この劣化を定量化し、最先端のGER法が潜在空間におけるアライメントを維持できないことを示す。
論文 参考訳（メタデータ） (2025-12-05T15:16:30Z) - Model Inversion with Layer-Specific Modeling and Alignment for Data-Free Continual Learning [19.12792297140574]
継続的な学習は、以前のタスクのパフォーマンスを維持しながら、一連のタスクでモデルを漸進的にトレーニングすることを目的としています。
データの保存と再生は、プライバシやセキュリティ上の制約によって不可能になることが多い。
単層最適化における高速収束にインスパイアされたPMI(Per-layer Model Inversion)を提案する。
論文 参考訳（メタデータ） (2025-10-30T09:58:48Z) - Demystifying Synthetic Data in LLM Pre-training: A Systematic Study of Scaling Laws, Benefits, and Pitfalls [25.294408301653576]
大規模言語モデル(LLM)のスケーリングにおいて、トレーニングデータは重要な役割を果たすが、高品質なデータは供給が限られている。
自然のWebデータ、多様な合成タイプ(言い換えテキスト、生成された教科書)、および自然と合成データの混合を比較した。
合成テキストの事前学習は、天然のWebテキストの事前学習よりも高速ではない。
論文 参考訳（メタデータ） (2025-10-02T03:24:42Z) - Scaling Laws of Synthetic Data for Language Models [125.41600201811417]
プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。
提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
論文 参考訳（メタデータ） (2025-03-25T11:07:12Z) - A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。
モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。
一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
論文 参考訳（メタデータ） (2025-02-26T06:18:13Z) - Golden Ratio Weighting Prevents Model Collapse [7.512957145774808]
我々は、実データと合成データを統合するための最適なトレーニング戦略を開発する。
合成データの混合比と重み付け方式が最終モデルの性能に及ぼす影響を特徴付ける。
場合によっては、実データに割り当てられた最適な重みは、黄金比の逆数に対応する。
論文 参考訳（メタデータ） (2025-02-25T10:15:16Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳（メタデータ） (2024-02-19T02:08:09Z) - On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
混合データセットに対する生成モデルの訓練が与える影響について検討する。
まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。
我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
論文 参考訳（メタデータ） (2023-09-30T16:41:04Z) - From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition [64.59093444558549]
我々はFrom Fake to Realと呼ぶシンプルで簡単に実装できる2段階のトレーニングパイプラインを提案する。
実データと合成データを別々にトレーニングすることで、FFRは実データと合成データの統計的差異にモデルを公開しない。
実験の結果,FFRは3つのデータセットに対して,最先端のグループ精度を最大20%向上させることがわかった。
論文 参考訳（メタデータ） (2023-08-08T19:52:28Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳（メタデータ） (2023-05-16T07:30:29Z) - Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。
我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。
CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2021-05-18T15:13:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。