論文の概要: Statistical Analysis of Synthetic Data with Verification: A Linear Regression Framework

• arxiv url: http://arxiv.org/abs/2610.40254v1
• Date: Thu, 29 Oct 2026 15:21:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.525069
• Title: Statistical Analysis of Synthetic Data with Verification: A Linear Regression Framework
• Title（参考訳）: 検証による合成データの統計的解析:線形回帰フレームワーク
• Abstract要約: 線形回帰フレームワークにおける自己学習の検証について検討した。 厳密な検証が必ずしも予測リスクの低下につながるとは限らないことが分かっています。 また、適切なレベルの射出ノイズが予測リスクを減少させる可能性があることも見出した。
• 参考スコア（独自算出の注目度）: 1.5397834466394758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthetic data are widely used for training modern AI systems. However, their statistical understanding remains limited. It is well recognized in statistics that repeated self-training on synthetic data can amplify errors inherited from pre-trained models, leading to model collapse. Verification plays a crucial role in selecting high-quality synthetic data to help prevent model collapse and improve model performance. We study verified self-training in a linear regression framework, where a pre-trained estimator generates synthetic data with injected generation noise and a verifier selects samples according to a verification threshold. Post-training on the accepted samples updates either all coordinates (full fine-tuning) or only an active subset (partial fine-tuning). Our analysis reveals three potentially counterintuitive effects. We establish that tighter verification does not always lead to lower prediction risk. We also find that a suitable level of injected generation noise can reduce prediction risk, while excessive noise can increase it. Moreover, full and partial fine-tuning can respond differently to the same verification rule, since pre-training error in the frozen coordinates affects both sample selection and post-training risk. We analyze these effects by deriving finite sample risk bounds for four separate regimes determined by the relative scales of the verification threshold, generation noise, and pre-training error. The bounds precisely characterize how verification affects prediction risk across these regimes. In particular, we quantify how the generation noise, the effective accepted sample size, and the covariance of the accepted covariates affect prediction risk. The analysis extends to iterative verified full fine-tuning, where sufficiently tight verification reduces the initial error contribution at a geometric rate.
• Abstract（参考訳）: 合成データは、現代のAIシステムのトレーニングに広く利用されている。 しかし、その統計的理解は限られている。 合成データに対する繰り返し自己学習が、事前訓練されたモデルから受け継がれた誤りを増幅し、モデル崩壊につながることは、統計学においてよく認識されている。 モデルの崩壊を防止し、モデルの性能を向上させるために、高品質な合成データを選択する上で、検証は重要な役割を果たす。 線形回帰フレームワークにおいて,事前学習した推定器が生成ノイズを注入した合成データを生成し,検証器が検証しきい値に従ってサンプルを選択する検証自己学習について検討した。 承認されたサンプルのポストトレーニングでは、すべての座標(フル微調整)またはアクティブサブセット(部分微調整)が更新される。 我々の分析では3つの潜在的な直感的効果が明らかである。 より厳密な検証が必ずしも予測リスクの低下につながるとは限らないと断定する。 また、適切なレベルの射出ノイズが予測リスクを低減し、過度なノイズが増大する可能性があることも見出した。 さらに、凍結した座標における事前学習誤差がサンプル選択と後学習のリスクの両方に影響を与えるため、完全および部分的な微調整は同じ検証規則に異なる反応をすることができる。 検証しきい値の相対スケール,生成ノイズ,事前学習誤差によって決定される4つの異なる規則に対する有限サンプルリスク境界を導出することにより,これらの効果を解析する。 この境界は、検証がこれらの体制全体にわたって予測リスクにどのように影響するかを正確に特徴づける。 特に, 生成ノイズ, 有効許容サンプルサイズ, 許容共変量の共分散が予測リスクに与える影響を定量化する。 解析は繰り返し検証された完全微調整にまで拡張され、十分に厳密な検証により、幾何学的な速度で初期誤差の寄与が減少する。

関連論文リスト

• Interleaved Resampling and Refitting: Data and Compute-Efficient Evaluation of Black-Box Predictors [15.386375612838371]
  本研究では,2乗損失下での大規模実証的リスク最小化の余剰リスクを評価することの課題について検討する。 トレーニングアルゴリズムへのブラックボックスアクセスのみを仮定し、過剰リスクを推定するための効率的な手順を開発する。
  論文  参考訳（メタデータ） (2026-03-15T04:41:20Z)
• Why Self-Training Helps and Hurts: Denoising vs. Signal Forgetting [6.369253528507392]
  反復的な自己学習は、自身の予測によって生成された擬似ラベルのモデルに繰り返し適合する。 繰り返しの予測リスクと有効雑音に対する決定論的等価再帰を導出する。
  論文  参考訳（メタデータ） (2026-02-15T07:28:12Z)
• On the Effect of Regularization on Nonparametric Mean-Variance Regression [22.758981850171548]
  実験結果と一致して観測された相転移を捉える統計場理論フレームワークを開発した。 UCIデータセットと大規模ClimSimデータセットの実験は、堅牢な校正性能を示し、予測の不確実性を効果的に定量化している。
  論文  参考訳（メタデータ） (2025-11-27T01:09:28Z)
• Active Data Sampling and Generation for Bias Remediation [0.0]
  トレーニング済みのクラスを微調整する際、不公平な分類を補うために、サンプリングとデータ生成の混合戦略が提案されている。 視覚的セマンティック・ロール・ラベリングのためのDeep Modelsのケーススタディとして、提案手法は90/10の不均衡から始まるシミュレートされたジェンダーバイアスを完全に解決することができる。
  論文  参考訳（メタデータ） (2025-03-26T10:42:15Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。 さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Continual Learning for Fake Audio Detection [62.54860236190694]
  本論文では,連続学習に基づく手法である忘れずに偽物を検出することで,モデルに新たなスプーフィング攻撃をインクリメンタルに学習させる手法を提案する。 ASVspoof 2019データセットで実験が行われる。
  論文  参考訳（メタデータ） (2021-04-15T07:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。