論文の概要: Analyzing Learning-Dynamics Across Loss and Prediction Choices for Diffusion Models
- arxiv url: http://arxiv.org/abs/2611.17967v1
- Date: Fri, 13 Nov 2026 09:56:27 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:31:19.655374
- Title: Analyzing Learning-Dynamics Across Loss and Prediction Choices for Diffusion Models
- Title(参考訳): 拡散モデルにおける損失と予測選択に関する学習動態の解析
- Abstract要約: 生成モデルのノイズはクリーンなデータ(x$)、ノイズ(x$)、ベロシティ(v$)を予測する。
損失空間の変更はタイムステップの再重み付けと全く同じであることを示す。
次に、ランク-$m$線形ボトルネックが$D$次元ノイズ入力を圧縮すると、ノイズと速度予測に$D-m$の既約2乗誤差フロアが課されることを示す。
- 参考スコア(独自算出の注目度): 7.190227956757318
- License:
- Abstract: Denoising generative models predict clean data ($x$), noise ($ε$), or velocity ($v$), while training losses can be measured in any of these spaces. Although the resulting nine combinations are algebraically related, they can yield substantially different denoising accuracy and sample quality. We disentangle the effects of prediction and loss spaces. For a fixed prediction target, we show that changing the loss space is exactly equivalent to timestep reweighting and provide a heuristic analysis of how this reweighting affects generation quality. We then show that a rank-$m$ linear bottleneck compressing a $D$-dimensional noisy input imposes an irreducible squared-error floor of $D-m$ on noise and velocity prediction, whereas clean-data prediction can exploit low-dimensional data structure. Combining this bound with prediction-dependent error conversion yields distinct necessary conditions on bottleneck capacity. Experiments with U-Net and JiT across CIFAR-10, Imagenette, and ImageNet-256 support these theoretical predictions. Under compression, prediction choice strongly affects both denoising accuracy and sample quality, with noise-prediction errors closely matching the theoretical lower bound. Our results provide a quantitative understanding of how architectural bottlenecks interact with prediction and loss choices in denoising generative models.
- Abstract(参考訳): 生成モデルはクリーンなデータ(x$)、ノイズ(ε$)、ベロシティ(v$)を予測し、トレーニング損失はこれらの空間のいずれかで測定できる。
結果として得られる9つの組み合わせは代数的に関連があるものの、分解精度とサンプル品質は大きく異なる。
我々は予測と損失空間の効果を遠ざけている。
固定された予測対象に対して、損失空間の変更はタイムステップの再重み付けと完全に等価であることを示し、この重み付けが生成品質に与える影響をヒューリスティックに分析する。
次に、ランク-$m$線形ボトルネックが$D$次元ノイズ入力を圧縮し、ノイズと速度予測に$D-m$の既約2乗誤差フロアを課し、一方クリーンデータ予測は低次元データ構造を利用することを示した。
この境界と予測依存の誤差変換を組み合わせることで、ボトルネックキャパシティに関する明確な必要条件が得られる。
CIFAR-10、Imagenette、ImageNet-256にまたがるU-NetとJITによる実験は、これらの理論予測をサポートする。
圧縮下では、予測選択は、理論的な下界と密接に一致するノイズ予測誤差を伴って、ノイズの精度とサンプル品質の両方に強く影響を及ぼす。
この結果から,生成モデルの予測と損失選択とアーキテクチャのボトルネックがどのように相互作用するかを定量的に把握できる。
関連論文リスト
- The Noise-Transmission Burden of Diffusion Network: Why Image Prediction Can Outperform Noise Prediction [7.54380081612327]
有限拡散ネットワークにおいて,ノイズ予測とクリーンイメージ予測がどう機能するかを示す。
ノイズ標準偏差$_t$のノイズ入力$Y_t$に対して、ノイズ予測器はクリーンイメージ推定を誘導する。
その結果, 遮音性能の低下は, プレコンディショニングによるボトルネックフロアの減衰やキャンセルを反映していることが判明した。
論文 参考訳(メタデータ) (2026-10-26T04:30:56Z) - ASSERT: Adaptive Stochastic Sampling for Robust Diffusion Models on Analog Compute-in-Memory Hardware [13.123394042691642]
拡散モデルは、強い画像生成品質を実現するが、高い反復的 denoising コストをもたらす。
初期高雑音化段階は最終改良段階よりもかなり脆弱であることを示す。
本稿では,早期かつスムーズな復調性を利用したトレーニングサンプルであるASSERTを提案する。
論文 参考訳(メタデータ) (2026-09-01T09:13:10Z) - Exact learning of quantum noise with tensor networks [0.0]
本稿では,量子エラー補正症候群と論理観測データから直接ノイズモデルを学習する変分フレームワークを提案する。
我々は,この目的がアドホックではなく,情報理論の最小論理誤差率を十分に表現可能な雑音アンサッツであることを示す。
論文 参考訳(メタデータ) (2026-08-31T18:01:16Z) - A Theory of Finite-Noise Optima and Generalization in Quantum Machine Learning [5.083987940956758]
量子ノイズは、回路をノイズレスの実装から遠ざけることで量子機械学習を劣化させると予想されている。
しかし最近の研究では、中程度の雑音は試験誤差を減少させ、弱い雑音の摂動誤差の蓄積や強い雑音の訓練可能性の崩壊によって説明できない振る舞いが示されている。
そこで我々は,微視的ノイズ過程とマクロ的学習性能を結合する統計的学習理論を開発した。
論文 参考訳(メタデータ) (2026-08-25T08:32:46Z) - Do we really have to filter out random noise in pre-training data for language models? [38.30911856420568]
インターネットから収集された事前学習されたテキストデータは、必然的にデコードエラーや規制されていないウェブコンテンツに起因するランダムノイズを含む。
その結果, モデルが2.7Bにスケールアップされた場合でも, NTPの損失はランダムノイズの比率よりも有意に低かった。
モデルパラメータの知識を必要とせず,通常の特徴と摂動特徴の勾配を整列させることにより,下流タスクヘッドの認知能力を明確に向上する。
論文 参考訳(メタデータ) (2025-02-10T16:01:55Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳(メタデータ) (2024-05-29T01:32:17Z) - Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - A Data-driven Loss Weighting Scheme across Heterogeneous Tasks for Image Denoising [67.02529586335473]
変分分解モデルでは、データ忠実度項の重みはノイズ除去能力を高める役割を担っている。
本研究では,これらの問題に対処するデータ駆動型損失重み付け手法を提案する。
DLWの顕著な性能を検証し,様々な変分復調モデルの複素雑音処理能力の向上に寄与することを示した。
論文 参考訳(メタデータ) (2022-12-09T03:28:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。