論文の概要: Why Self-Training Helps and Hurts: Denoising vs. Signal Forgetting

• arxiv url: http://arxiv.org/abs/2602.14029v1
• Date: Sun, 15 Feb 2026 07:28:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.608493
• Title: Why Self-Training Helps and Hurts: Denoising vs. Signal Forgetting
• Title（参考訳）: 自己学習が助けになる理由
• Authors: Mingqi Wu, Archer Y. Yang, Qiang Sun,
• Abstract要約: 反復的な自己学習は、自身の予測によって生成された擬似ラベルのモデルに繰り返し適合する。 繰り返しの予測リスクと有効雑音に対する決定論的等価再帰を導出する。
• 参考スコア（独自算出の注目度）: 6.369253528507392
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Iterative self-training (self-distillation) repeatedly refits a model on pseudo-labels generated by its own predictions. We study this procedure in overparameterized linear regression: an initial estimator is trained on noisy labels, and each subsequent iterate is trained on fresh covariates with noiseless pseudo-labels from the previous model. In the high-dimensional regime, we derive deterministic-equivalent recursions for the prediction risk and effective noise across iterations, and prove that the empirical quantities concentrate sharply around these limits. The recursion separates two competing forces: a systematic component that grows with iteration due to progressive signal forgetting, and a stochastic component that decays due to denoising via repeated data-dependent projections. Their interaction yields a $U$-shaped test-risk curve and an optimal early-stopping time. In spiked covariance models, iteration further acts as an iteration-dependent spectral filter that preserves strong eigendirections while suppressing weaker ones, inducing an implicit form of soft feature selection distinct from ridge regression. Finally, we propose an iterated generalized cross-validation criterion and prove its uniform consistency for estimating the risk along the self-training trajectory, enabling fully data-driven selection of the stopping time and regularization. Experiments on synthetic covariances validate the theory and illustrate the predicted denoising-forgetting trade-off.
• Abstract（参考訳）: 反復的な自己学習(自己蒸留)は、自身の予測によって生成された擬似ラベルのモデルに繰り返し適合する。 本手法を過パラメータ化線形回帰法で検討し、初期推定器は雑音ラベルに基づいて訓練し、その後の各繰り返しは前モデルからのノイズのない擬似ラベルを持つ新鮮な共変体で訓練する。 高次元状態下では, 予測リスクと実効性雑音に対して, 決定論的に等価な再帰を導出し, 実験量がこれらの限界に急激に集中していることを証明する。 再帰は、2つの競合する力を分離する: 進行的な信号の忘れによって繰り返しで成長する体系的成分と、データ依存の射影を繰り返すことによってデノイングによって崩壊する確率的成分である。 それらの相互作用は、$U$型のテストリスク曲線と最適な早期停止時間をもたらす。 スパイク共分散モデルでは、イテレーション依存のスペクトルフィルタとして機能し、強い固有方向を保ちながら弱い方向を抑え、リッジレグレッションとは別個の軟質な特徴選択の暗黙の形式を誘導する。 最後に,自己学習軌道に沿ったリスクを推定するための一様整合性を検証し,停止時間と正規化の完全なデータ駆動による選択を可能にすることを提案する。 合成共分散の実験は、理論を検証し、予測されたデノイング・フォーゲッティングトレードオフを示す。

関連論文リスト

• Combating Noisy Labels through Fostering Self- and Neighbor-Consistency [120.4394402099635]
  ラベルノイズは様々な現実世界のシナリオで広まり、教師付きディープラーニングの課題を提起する。 我々は、Jo-SNC(textbfSelf- と textbfNeighbor-textbfConsistency に基づくサンプル選択とモデル正規化)というノイズロバスト手法を提案する。 我々は、クラスごとの選択閾値を調整するための自己適応型データ駆動しきい値設定方式を設計する。
  論文  参考訳（メタデータ） (2026-01-19T07:55:29Z)
• Self-diffusion for Solving Inverse Problems [3.8870795921263728]
  我々は,事前学習された生成モデルに頼ることなく,逆問題を解決するための新しいフレームワークである自己拡散を提案する。 自己拡散はニューラルネットワークのスペクトルバイアスを利用して、スケジュールされたノイズプロセスを通じて変調する。 我々は, 線形逆問題に対するアプローチの有効性を実証し, 他の手法と比較して, 自己拡散が競争力や優れた性能を達成することを示す。
  論文  参考訳（メタデータ） (2025-10-24T12:57:22Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Memorization and Regularization in Generative Diffusion Models [5.128303432235475]
  拡散モデルは、生成モデリングの強力なフレームワークとして登場した。 この分析は、解析的に抽出可能な最小化器の再生を避けるための正規化の必要性を強調している。 実験は記憶の文脈で評価され、今後の正規化の方向性が強調される。
  論文  参考訳（メタデータ） (2025-01-27T05:17:06Z)
• Fréchet regression with implicit denoising and multicollinearity reduction [1.5771347525430772]
  Fr'echet回帰は、距離空間におけるモデル複素応答に線形回帰を拡張する。 本稿では,入力変数と複数応答の関係を明示的にモデル化するGlobal Fr'echet re gressionモデルの拡張について述べる。
  論文  参考訳（メタデータ） (2024-12-24T08:02:28Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。 さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Regularized Vector Quantization for Tokenized Image Synthesis [126.96880843754066]
  画像の離散表現への量子化は、統合生成モデリングにおける根本的な問題である。 決定論的量子化は、厳しいコードブックの崩壊と推論段階の誤調整に悩まされ、一方、量子化は、コードブックの利用率の低下と再構築の目的に悩まされる。 本稿では、2つの視点から正規化を適用することにより、上記の問題を効果的に緩和できる正規化ベクトル量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:20:54Z)
• Detecting Label Noise via Leave-One-Out Cross Validation [0.0]
  クリーンなサンプルと破損したサンプルの混合から実値のノイズラベルを同定し,修正するための簡単なアルゴリズムを提案する。 独立分散を伴う付加的なガウス雑音項をそれぞれと観測されたラベルに関連付けるヘテロ代用ノイズモデルを用いる。 提案手法は, 合成および実世界の科学データを用いた学習において, 劣化したサンプルを特定でき, より良い回帰モデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-03-21T10:02:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。