論文の概要: Variance-Aware Adaptive Weighting for Diffusion Model Training

• arxiv url: http://arxiv.org/abs/2603.10391v1
• Date: Wed, 11 Mar 2026 04:17:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.775055
• Title: Variance-Aware Adaptive Weighting for Diffusion Model Training
• Title（参考訳）: 拡散モデルトレーニングのための変数認識適応重み付け
• Authors: Nanlong Sun, Lei Shi,
• Abstract要約: 拡散モデルは最近、生成モデリングにおいて顕著な成功を収めた。 しかし、異なる騒音レベルにわたるトレーニングのダイナミクスは、非常に不均衡なままである。 この不均衡に対処する分散適応重み付け戦略を提案する。
• 参考スコア（独自算出の注目度）: 2.815765641180636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have recently achieved remarkable success in generative modeling, yet their training dynamics across different noise levels remain highly imbalanced, which can lead to inefficient optimization and unstable learning behavior. In this work, we investigate this imbalance from the perspective of loss variance across log-SNR levels and propose a variance-aware adaptive weighting strategy to address it. The proposed approach dynamically adjusts training weights based on the observed variance distribution, encouraging a more balanced optimization process across noise levels. Extensive experiments on CIFAR-10 and CIFAR-100 demonstrate that the proposed method consistently improves generative performance over standard training schemes, achieving lower Fréchet Inception Distance (FID) while also reducing performance variance across random seeds. Additional analysis, including loss-log-SNR visualization, variance heatmaps, and ablation studies, further reveal that the adaptive weighting effectively stabilizes training dynamics. These results highlight the potential of variance-aware training strategies for improving diffusion model optimization.
• Abstract（参考訳）: 拡散モデルは最近、生成モデルにおいて顕著な成功を収めているが、異なるノイズレベルにわたるトレーニングのダイナミクスは非常に不均衡であり、非効率な最適化と不安定な学習行動をもたらす可能性がある。 本研究では、対数-SNRレベルの損失分散の観点からこの不均衡を考察し、それに対応する分散対応重み付け戦略を提案する。 提案手法は、観測された分散分布に基づいてトレーニング重量を動的に調整し、ノイズレベルをまたいだよりバランスのとれた最適化プロセスを促進する。 CIFAR-10 と CIFAR-100 の大規模実験により,提案手法は標準訓練方式よりも連続的に生成性能を向上し,Fréchet Inception Distance (FID) の低減を実現し,ランダム種子間の性能ばらつきを低減した。 損失-log-SNR可視化、分散ヒートマップ、アブレーション研究などの追加分析により、適応重み付けがトレーニング力学を効果的に安定化させることが明らかとなった。 これらの結果は拡散モデル最適化を改善するための分散対応トレーニング戦略の可能性を強調した。

関連論文リスト

• DoRAN: Stabilizing Weight-Decomposed Low-Rank Adaptation via Noise Injection and Auxiliary Networks [47.58150560549918]
  重み分解低ランク適応(DoRA)は,バニラ低ランク適応(LoRA)法の学習能力と訓練安定性の両方を改善することが示されている。 そこで本研究では,DoRAのトレーニングを安定化し,サンプル効率を向上させるため,新しいDoRAの派生型であるDoRANを提案する。
  論文  参考訳（メタデータ） (2025-10-05T19:27:48Z)
• Fast and Stable Diffusion Planning through Variational Adaptive Weighting [3.745003761050674]
  拡散モデルは、最近オフラインRLで有望であることが示されている。 これらの手法は、しばしば高い訓練コストと緩やかな収束に悩まされる。 本稿では,フローベース生成モデルに基づくオンライン推定のためのクローズドフォーム近似手法を提案する。 Maze2D タスクと Kitchen タスクの実験結果から,本手法は最大10倍のトレーニングステップで競争性能を達成できることが示された。
  論文  参考訳（メタデータ） (2025-06-20T02:12:04Z)
• Improved Noise Schedule for Diffusion Training [51.849746576387375]
  本稿では,拡散モデルのトレーニングを強化するため,ノイズスケジュールを設計するための新しい手法を提案する。 我々は,標準のコサインスケジュールよりもノイズスケジュールの方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-07-03T17:34:55Z)
• Adaptive Training Meets Progressive Scaling: Elevating Efficiency in Diffusion Models [52.1809084559048]
  TDCトレーニングと呼ばれる新しい2段階分割型トレーニング戦略を提案する。 タスクの類似性と難易度に基づいてタイムステップをグループ化し、高度にカスタマイズされた復調モデルを各グループに割り当て、拡散モデルの性能を向上させる。 2段階のトレーニングでは、各モデルを個別にトレーニングする必要がなくなるが、総トレーニングコストは、単一の統合されたデノナイジングモデルをトレーニングするよりもさらに低い。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• Unmasking Bias in Diffusion Model Training [40.90066994983719]
  拡散モデルが画像生成の主流のアプローチとして登場した。 トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。 本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。