論文の概要: Preventing Model Collapse Under Overparametrization: Optimal Mixing Ratios for Interpolation Learning and Ridge Regression

• arxiv url: http://arxiv.org/abs/2509.22341v1
• Date: Fri, 26 Sep 2025 13:34:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.460976
• Title: Preventing Model Collapse Under Overparametrization: Optimal Mixing Ratios for Interpolation Learning and Ridge Regression
• Title（参考訳）: 過パラメータ化下でのモデル崩壊防止:補間学習とリッジ回帰のための最適混合比
• Authors: Anvit Garg, Sohom Bhattacharya, Pragya Sur,
• Abstract要約: モデル崩壊は、生成モデルが自身の合成出力を繰り返し訓練した後で劣化するときに起こる。 この反復スキームの下で最小$$$-normとリッジ回帰の正確な誤差式を導出する。 本分析により, 長期予測誤差を最小化する混合重量の興味深い特性が明らかとなった。
• 参考スコア（独自算出の注目度）: 4.71547360356314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model collapse occurs when generative models degrade after repeatedly training on their own synthetic outputs. We study this effect in overparameterized linear regression in a setting where each iteration mixes fresh real labels with synthetic labels drawn from the model fitted in the previous iteration. We derive precise generalization error formulae for minimum-$\ell_2$-norm interpolation and ridge regression under this iterative scheme. Our analysis reveals intriguing properties of the optimal mixing weight that minimizes long-term prediction error and provably prevents model collapse. For instance, in the case of min-$\ell_2$-norm interpolation, we establish that the optimal real-data proportion converges to the reciprocal of the golden ratio for fairly general classes of covariate distributions. Previously, this property was known only for ordinary least squares, and additionally in low dimensions. For ridge regression, we further analyze two popular model classes -- the random-effects model and the spiked covariance model -- demonstrating how spectral geometry governs optimal weighting. In both cases, as well as for isotropic features, we uncover that the optimal mixing ratio should be at least one-half, reflecting the necessity of favoring real-data over synthetic. We validate our theoretical results with extensive simulations.
• Abstract（参考訳）: モデル崩壊は、生成モデルが自身の合成出力を繰り返し訓練した後で劣化するときに起こる。 この効果を,各反復が生の実ラベルと前回の反復に適合したモデルから抽出された合成ラベルとを混合する設定において,過度にパラメータ化された線形回帰において検討する。 この反復スキームの下で最小$$\ell_2$-norm補間とリッジ回帰の正確な一般化誤差式を導出する。 本分析により, 長期予測誤差を最小化し, モデル崩壊を確実に防止する最適混合重量の興味深い特性が明らかとなった。 例えば、min-$\ell_2$-norm補間の場合、最適実データ比は共変量分布のかなり一般的なクラスに対する黄金比の逆数に収束する。 以前は、この性質は通常の最小二乗に対してのみ知られ、また低次元においても知られていた。 リッジ回帰について、スペクトル幾何が最適な重み付けをどのように支配するかを示す2つの一般的なモデルクラス(ランダム効果モデルとスパイク共分散モデル)を解析する。 いずれの場合も、等方性だけでなく、最適混合比が少なくとも半減すべきであることは、合成よりも実データを好む必要性を反映している。 理論結果を広範囲なシミュレーションで検証する。

関連論文リスト

• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Test Set Sizing for the Ridge Regression [51.56484100374058]
  訓練行数mが大きくなる限界において、リッジ回帰のための理想的な列車/試験分割を高精度に導出する。 このような分割が、大規模なデータ制限下で機械学習モデルに対して数学的に計算されるのは、これが初めてである。
  論文  参考訳（メタデータ） (2025-04-27T13:17:18Z)
• Beyond Model Collapse: Scaling Up with Synthesized Data Requires Verification [11.6055501181235]
  モデル崩壊防止のための合成データに対する検証手法について検討する。 検証器は、たとえ不完全なものであっても、モデル崩壊を防ぐために実際に活用できることが示される。
  論文  参考訳（メタデータ） (2024-06-11T17:46:16Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Augmented balancing weights as linear regression [3.877356414450364]
  自動脱バイアス機械学習(AutoDML)としても知られる拡張バランスウェイトの特徴を新たに提供する。 拡張推定器は、元の結果モデルから得られる係数と、不注意な通常の最小二乗(OLS)から得られる係数を同じデータに組み合わせた単一の線形モデルと等価であることを示す。 私たちのフレームワークは、この人気の高い推定器のクラスにブラックボックスを開きます。
  論文  参考訳（メタデータ） (2023-04-27T21:53:54Z)
• Analysis of Interpolating Regression Models and the Double Descent Phenomenon [3.883460584034765]
  ノイズの多いトレーニングデータを補間するモデルは、一般化に乏しいと一般的に推測されている。 得られた最良のモデルは過度にパラメータ化され、テストエラーはモデル順序が増加するにつれて二重降下挙動を示す。 回帰行列の最小特異値の振舞いに基づいて、テスト誤差のピーク位置と二重降下形状をモデル順序の関数として説明する。
  論文  参考訳（メタデータ） (2023-04-17T09:44:33Z)
• Convex Latent Effect Logit Model via Sparse and Low-rank Decomposition [2.1915057426589746]
  本稿では,ロジスティック回帰モデル(logit)を学習するための凸パラメトリック凸パラメトリック定式化を提案する。 その人気にもかかわらず、個別の不均一性を学ぶための混合ロジットアプローチにはいくつかの欠点がある。
  論文  参考訳（メタデータ） (2021-08-22T22:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。