論文の概要: Mitigating Model Collapse through Dreaming Learning

• arxiv url: http://arxiv.org/abs/2610.30009v1
• Date: Wed, 21 Oct 2026 16:41:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.413441
• Title: Mitigating Model Collapse through Dreaming Learning
• Title（参考訳）: ドリームニング学習によるモデル崩壊の軽減
• Abstract要約: 合成データの生成モデルを訓練すると、多様性が失われ、性能が低下する。 制御されたマルコフ設定において、この変性をスペクトル的に研究する。 温度でのサンプリングは、繰り返しシャープニングのように演算子に作用する。
• 参考スコア（独自算出の注目度）: 36.94429692322632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training generative models on synthetic data causes loss of diversity and a decrease in performance, a phenomenon known as model collapse. We study this degeneration spectrally in a controlled Markov setting. The eigenvalue spectrum of the learned transition operator offers a direct view of the process, since the subdominant eigenvalues set how fast the chain mixes and therefore how much of the state space it continues to explore. We find that sampling at temperature $T_s < 1$ acts on the operator like repeated sharpening, pushing it toward a deterministic system: the subdominant eigenvalues approach the unit circle and the spectral gap narrows. When $T_s < 1$, even data accumulation does not appear to arrest this drift. We then analyze Dreaming Learning, a regulariser that, in parallel with regular training, adds a loss term on the model's own samples drawn at a raised temperature $T_d > 1$. Because high-temperature samples flatten the predicted distribution, training on them keeps the entries of the learned operator from becoming vanishingly small, which in turn keeps the eigenvalues bounded away from the unit circle. Measurements of the spectra over 5000 generations are consistent with this picture, and the mitigation effect persists in more complex settings such as LSTM language models and a 124M-parameter GPT-2.
• Abstract（参考訳）: 合成データの生成モデルを訓練すると、多様性の喪失と性能の低下が起こり、これはモデル崩壊と呼ばれる現象である。 制御されたマルコフ設定において、この変性をスペクトル的に研究する。 学習された遷移作用素の固有値スペクトルは、鎖がどれだけの速さで混合され、従ってそれが探索を続ける状態空間のどれ程かを決定するため、プロセスの直接的なビューを提供する。 温度$T_s < 1$ のサンプリングは、繰り返しシャープ化のように演算子に作用し、決定論的な系へ押し寄せる: 劣支配固有値が単位円に近づき、スペクトルギャップが狭くなる。 T_s < 1$ の場合、データ蓄積でさえこのドリフトを停止しないように見える。 次に、通常のトレーニングと並行して、昇温温度$T_d > 1$で描画されたモデル自身のサンプルに損失項を追加する正規化学習であるDreaming Learningを分析する。 高温のサンプルは予測された分布を平らにするので、それらのトレーニングは学習した演算子のエントリが消えないように保ち、結果として固有値が単位円から離れて保たれる。 5000世代にわたるスペクトルの測定は、この図と一致しており、緩和効果はLSTM言語モデルや124Mパラメータ GPT-2のようなより複雑な設定で持続する。

関連論文リスト

• Task Vector Descent: Learning from Non-IID Batches [73.36333480977952]
  モデルをアクティブディストリビューションに適応させることは、アクティブディストリビューションのモデルを改善することができるが、以前トレーニングされたデータのパフォーマンス低下につながる可能性がある。 完全変位(=1$)と部分積分(英語版)を比較し、継続モデルに適用する前にタスクベクトルを$$スケールし、同じ係数で状態をスケールする。
  論文  参考訳（メタデータ） (2026-10-04T17:37:49Z)
• First Learn, Then Memorize: The Spectral Bias of Diffusion Models [5.939780039158003]
  有限データセットでトレーニングされた拡散モデルは、まず新しい高品質なサンプルを生成することを学ぶ。 我々は、それを探査する物体のこの分離の背後にあるメカニズムを同定する。 スコア関数のトレーニング力学は、実際に、任意の幅において、ニューラル・タンジェント・カーネル(NTK)のグラム行列によって制御される。 それらの構造が標準のカーネル設定に類似していないことを示す。
  論文  参考訳（メタデータ） (2026-09-28T15:13:46Z)
• Diversify Diffusion with Temperature Sampling and Variance-Corrective Time Shifting [57.75750707482832]
  本稿では,モード再重み付けを保ちながら分散インフレーションをキャンセルし,ネットワークをシフトタイムステップでクエリし,その結果のスコアを$$でスケールするトレーニング不要な修正である分散補正時間シフトを導入する。 DiT, 安定拡散モデル, 運動拡散モデルにまたがる品質と条件の忠実度を, 最小限のコストで一貫したゲインを示す。
  論文  参考訳（メタデータ） (2026-07-12T17:32:29Z)
• Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine [60.669081685261965]
  拡散モデルは、顕著な品質で高次元データを生成する。 彼らのトレーニングがいかに効率的にスコア関数を学習するかは理論的には説明がつかないままである。 我々はこの原理をScore-induced Latent Diffusion (SiLD)として定式化する。
  論文  参考訳（メタデータ） (2026-05-16T16:51:10Z)
• Anchoring the Eigengap: Cross-Modal Spectral Stabilization for Sample-Efficient Representation Learning [0.8326214193432122]
  視力モデルが低データ状態,特にラベル付きサンプルが不足している医療画像において,急速に低下していることが示される。 我々は、回復可能な次元K(N)を定量化する有限サンプル表現学習の理論を開発する。 マルチモーダルトレーニングは,非モーダルモデルでも,より安定なモードを維持し,クラス分離を改善する。
  論文  参考訳（メタデータ） (2026-05-09T07:49:43Z)
• Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
  楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。 本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。 $|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
  論文  参考訳（メタデータ） (2025-12-22T10:03:51Z)
• Diffusion Models are Molecular Dynamics Simulators [0.0]
  バッチ次元に逐次バイアスを付与したデノナイズ拡散サンプリング器が,ランゲヴィン力学を過度に破壊するオイラー・丸山積分器であることを証明した。 各逆消音ステップは、その関連するばね剛性を伴って、ノイズスケジュールとその剛性とで協調して設定された有効時間ステップを有する微分方程式の一段階と解釈することができる。 学習したスコアは、学習したエネルギーの勾配の役割を担い、拡散サンプリングとランゲヴィン時間進化の正確な対応を与える。
  論文  参考訳（メタデータ） (2025-11-21T19:48:32Z)
• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 初めて、その生成順序をデノナイジングネットワーク自体によって予測できる。 これらの結果から,特定の推論タスクの精度を1%から50%に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• Spectral Evolution and Invariance in Linear-width Neural Networks [8.419660614226816]
  線形幅フィードフォワードニューラルネットワークのスペクトル特性について検討する。 この高次元構造における重みのスペクトルは、小さな定常学習率の勾配降下によって訓練されたときに不変であることを示す。 また,テストエラーや特徴学習の少ない適応的勾配学習では,重みとカーネルの両方に重みが認められた。
  論文  参考訳（メタデータ） (2022-11-11T23:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。