論文の概要: From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime
- arxiv url: http://arxiv.org/abs/2607.20540v1
- Date: Fri, 10 Jul 2026 20:59:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.224481
- Title: From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime
- Title（参考訳）: 原子からエントロピーへ:凸レジームにおける拡散訓練のための最適なノイズアロケーション
- Abstract要約: 拡散訓練における最適な雑音レベルアロケーションを研究するための一般統計フレームワークを開発する。
最適化されたトレーニングスケジュールは、有限個のノイズレベルに集中した原子最小値を持つことを示す。
次に,大規模実験におけるエントロピック・スケジュールの評価を行った。
- 参考スコア（独自算出の注目度）: 52.459513910242485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How should a diffusion model decide which noise levels to train on, and how much? Despite the importance of this choice, current noise schedules are based largely on heuristics or empirical tuning. Here, we develop a general statistical framework for studying asymptotically optimal noise-level allocation in diffusion training. Our first main result concerns the fully coupled regime, where information can spread between different time points. Under convexity or Polyak-Lojasiewicz-type assumptions, we show that the optimized training schedule admits an atomic minimizer, concentrated on finitely many noise levels. Our second main result specializes this framework to an idealized independent-learner regime, intended to model temporal specialization in neural networks. Under an additional feature-noise decoupling condition, a random-matrix analysis leads to an information-theoretic proxy: the decoupled sampling density is proportional to the square root of the generative entropy rate, the rate at which conditional entropy grows along the forward process. We test these predictions in controlled settings where the coupled objective can be optimized directly, including Dirac mixtures, low-dimensional manifolds, and MNIST. In these settings, the optimized schedules are consistently finite-support, while the smooth entropic proxy closely tracks the atomic optimum in neural-network models and breaks down mainly in the fully coupled parametric case, as the theory suggests. We then evaluate the entropic schedule in larger-scale experiments, where full schedule optimization is currently intractable. The results indicate that square-root entropy scheduling can substantially improve training efficiency on discrete domains and remains competitive with standard EDM-style heuristics on continuous images.
- Abstract（参考訳）: 拡散モデルでは、どの騒音レベルをトレーニングするか、どのくらいを判断すべきか?
この選択の重要性にもかかわらず、現在のノイズスケジュールは主にヒューリスティックスや経験的なチューニングに基づいている。
本稿では,拡散訓練における漸近的最適雑音レベルアロケーションの研究のための一般統計フレームワークを開発する。
最初の主要な成果は、情報が異なる時間ポイントに分散する、完全に結合された体制に関するものです。
凸性やPolyak-Lojasiewicz型仮定の下では、最適化されたトレーニングスケジュールは、有限個のノイズレベルに集中する原子最小化を許容することを示す。
2つ目の主要な結果は、ニューラルネットワークの時間的特殊化をモデル化することを目的として、このフレームワークを理想化された独立学習体制に特化しています。
補間されたサンプリング密度は、生成エントロピー率の平方根に比例し、条件エントロピーが前方過程に沿って成長する速度である。
これらの予測は、Dirac混合、低次元多様体、MNISTなど、結合対象を直接最適化できる制御された環境で検証する。
これらの設定では、最適化されたスケジュールは一貫して有限サポートされ、スムーズなエントロピープロキシはニューラルネットワークモデルにおける原子の最適性を密に追跡し、理論が示唆しているように、主に完全に結合されたパラメトリックケースで分解する。
次に,大規模実験におけるエントロピック・スケジュールの評価を行った。
その結果,立方根エントロピースケジューリングは離散領域でのトレーニング効率を大幅に向上させることができ,連続画像上での標準的なEDMスタイルのヒューリスティックと競合することを示す。
関連論文リスト
- A Defense of the Quadratic Model [71.57026347416729]
最も単純な最適化モデル -- 二次モデル -- をテストする。
1億5000万のパラメータと3Bのトレーニングトークンを持つLLM設定で驚くほど予測可能であることを示す。
論文 参考訳（メタデータ） (2026-07-23T18:02:03Z) - Gradient-Flow Optimization as Dynamic Random-Effects Inference: Testing and Early Stopping with Applications to Deep Learning [16.158545640309438]
我々は勾配流学習のための統計的推論フレームワークを開発した。
トレーニング時間は、分散が再配置される方法を決定する分散成分パラメータになる。
固定勾配系における深層学習モデルは、理論の現代AIインスタンス化を提供する。
論文 参考訳（メタデータ） (2026-05-27T05:32:24Z) - Information-Guided Noise Allocation for Efficient Diffusion Training [50.49440376762109]
InfoNoiseはデータ適応型トレーニングノイズスケジュールであり、スケジュール設計を情報誘導型ノイズサンプリング分布に置き換える。
自然画像のベンチマーク全体において、InfoNoiseはEDMスタイルのスケジュールにマッチするか、あるいは超えている。
全体としてInfoNoiseは、ノイズスケジューリングをデータ適応化し、拡散モデルがドメイン全体に広がるにつれて、データセットごとのスケジュール設計の必要性を減らす。
論文 参考訳（メタデータ） (2026-02-20T22:45:01Z) - Low-Dimensional Adaptation of Rectified Flow: A New Perspective through the Lens of Diffusion and Stochastic Localization [59.04314685837778]
整流流(RF)は、その生成効率と最先端の性能からかなりの人気を得ている。
本稿では,RFがターゲット分布の支持の内在的低次元性に自動的に適応し,サンプリングを高速化する程度について検討する。
時間分割方式を慎重に設計し,十分な正確なドリフト推定を行うことで,RFサンプリング器はオーダーO(k/varepsilon)$の複雑さを享受できることを示す。
論文 参考訳（メタデータ） (2026-01-21T22:09:27Z) - Matching the Optimal Denoiser in Point Cloud Diffusion with (Improved) Rotational Alignment [5.8069334875117775]
拡散モデルのトレーニングは、ノイズレベルの異なるサンプルをノイズにする方法を学ぶことで構成される。
最適デノイザは行列フィッシャー分布を$SO(3)$で表現できることを示す。
我々はこの視点に基づいて、小さな雑音の限界において最適なデノイザにより良い近似器を導出する。
論文 参考訳（メタデータ） (2025-10-02T05:55:22Z) - Beyond Universal Approximation Theorems: Algorithmic Uniform Approximation by Neural Networks Trained with Noisy Data [12.815892583089443]
本稿では,N$ノイズ学習サンプルから一様近似器を構成するアーキテクチャ固有のランダム化学習アルゴリズムを提案する。
学習したニューラルネットワークは、古典的UATで想定される理想化されたノイズレスサンプリングの下で消滅する対数的要因を考慮し、最小限の最大(非ランダム)パラメータを実現する。
論文 参考訳（メタデータ） (2025-08-31T16:20:27Z) - Generative Latent Neural PDE Solver using Flow Matching [8.397730500554047]
低次元の潜伏空間にPDE状態を埋め込んだPDEシミュレーションのための潜伏拡散モデルを提案する。
我々のフレームワークは、オートエンコーダを使用して、異なるタイプのメッシュを統一された構造化潜在グリッドにマッピングし、複雑なジオメトリをキャプチャします。
数値実験により,提案モデルは,精度と長期安定性の両方において,決定論的ベースラインよりも優れていた。
論文 参考訳（メタデータ） (2025-03-28T16:44:28Z) - Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Improved Noise Schedule for Diffusion Training [51.849746576387375]
本稿では,拡散モデルのトレーニングを強化するため,ノイズスケジュールを設計するための新しい手法を提案する。
我々は,標準のコサインスケジュールよりもノイズスケジュールの方が優れていることを実証的に示す。
論文 参考訳（メタデータ） (2024-07-03T17:34:55Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Self-Adapting Noise-Contrastive Estimation for Energy-Based Models [0.0]
ノイズコントラスト推定(NCE)を用いたトレーニングエネルギーベースモデルは理論的には実現可能であるが、実際は困難である。
従来の研究は、別個の生成モデルとしてノイズ分布をモデル化し、EBMでこのノイズモデルを同時に訓練してきた。
本論文では,EMMの静的なインスタンスを学習軌道に沿って雑音分布として利用する自己適応型NCEアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-11-03T15:17:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。