論文の概要: Variance-Aware Adaptive Weighting for Diffusion Model Training

• arxiv url: http://arxiv.org/abs/2603.10391v1
• Date: Wed, 11 Mar 2026 04:17:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.775055
• Title: Variance-Aware Adaptive Weighting for Diffusion Model Training
• Title（参考訳）: 拡散モデルトレーニングのための変数認識適応重み付け
• Abstract要約: 拡散モデルは最近、生成モデリングにおいて顕著な成功を収めた。 しかし、異なる騒音レベルにわたるトレーニングのダイナミクスは、非常に不均衡なままである。 この不均衡に対処する分散適応重み付け戦略を提案する。
• 参考スコア（独自算出の注目度）: 2.815765641180636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have recently achieved remarkable success in generative modeling, yet their training dynamics across different noise levels remain highly imbalanced, which can lead to inefficient optimization and unstable learning behavior. In this work, we investigate this imbalance from the perspective of loss variance across log-SNR levels and propose a variance-aware adaptive weighting strategy to address it. The proposed approach dynamically adjusts training weights based on the observed variance distribution, encouraging a more balanced optimization process across noise levels. Extensive experiments on CIFAR-10 and CIFAR-100 demonstrate that the proposed method consistently improves generative performance over standard training schemes, achieving lower Fréchet Inception Distance (FID) while also reducing performance variance across random seeds. Additional analysis, including loss-log-SNR visualization, variance heatmaps, and ablation studies, further reveal that the adaptive weighting effectively stabilizes training dynamics. These results highlight the potential of variance-aware training strategies for improving diffusion model optimization.
• Abstract（参考訳）: 拡散モデルは最近、生成モデルにおいて顕著な成功を収めているが、異なるノイズレベルにわたるトレーニングのダイナミクスは非常に不均衡であり、非効率な最適化と不安定な学習行動をもたらす可能性がある。 本研究では、対数-SNRレベルの損失分散の観点からこの不均衡を考察し、それに対応する分散対応重み付け戦略を提案する。 提案手法は、観測された分散分布に基づいてトレーニング重量を動的に調整し、ノイズレベルをまたいだよりバランスのとれた最適化プロセスを促進する。 CIFAR-10 と CIFAR-100 の大規模実験により,提案手法は標準訓練方式よりも連続的に生成性能を向上し,Fréchet Inception Distance (FID) の低減を実現し,ランダム種子間の性能ばらつきを低減した。 損失-log-SNR可視化、分散ヒートマップ、アブレーション研究などの追加分析により、適応重み付けがトレーニング力学を効果的に安定化させることが明らかとなった。 これらの結果は拡散モデル最適化を改善するための分散対応トレーニング戦略の可能性を強調した。

関連論文リスト

• SATB-VR: Training Few-Step Video Restoration Diffusion Model using SNR-Aware Trajectory Blending [55.764018145256216]
  本稿では,補助予測器を介してデノナイジングプロセスを開始する数ステップのパラダイムであるSATB-VRを提案する。 我々は,SATB-VRが,合成,実世界,AIGCベンチマークにおける既存のアプローチに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2026-06-27T01:32:16Z)
• Mitigating Error Amplification in Fast Adversarial Training [58.74042726356826]
  FAT(Fast Adversarial Training)は、ネットワークに摂動不変表現の学習を促すことによって、モデルロバスト性の向上に有効であることが証明されている。 FATは、しばしば破滅的なオーバーフィッティング(CO)に悩まされ、モデルがトレーニングアタックに過度に適合し、目に見えないものへの一般化に失敗する。 本稿では、摂動予算と監視信号の両方を動的に調整する分散対応動的ガイダンス(DDG)戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-27T11:23:18Z)
• ADP-VRSGP: Decentralized Learning with Adaptive Differential Privacy via Variance-Reduced Stochastic Gradient Push [24.62800551742178]
  本稿では分散誘導勾配プッシュによる適応微分プライバシーを用いた分散学習という新しい手法を提案する。 この方法は、段階的に遅延するスケジュールを用いて、ノイズ分散と学習率の両方を動的に調整する。 ADP-VRSGPは、適切な学習速度で堅牢な収束を実現し、トレーニングの安定性と速度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-10-23T03:14:59Z)
• DoRAN: Stabilizing Weight-Decomposed Low-Rank Adaptation via Noise Injection and Auxiliary Networks [47.58150560549918]
  重み分解低ランク適応(DoRA)は,バニラ低ランク適応(LoRA)法の学習能力と訓練安定性の両方を改善することが示されている。 そこで本研究では,DoRAのトレーニングを安定化し,サンプル効率を向上させるため,新しいDoRAの派生型であるDoRANを提案する。
  論文  参考訳（メタデータ） (2025-10-05T19:27:48Z)
• G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
  本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。 複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。 G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-10-02T12:57:12Z)
• Fast and Stable Diffusion Planning through Variational Adaptive Weighting [3.745003761050674]
  拡散モデルは、最近オフラインRLで有望であることが示されている。 これらの手法は、しばしば高い訓練コストと緩やかな収束に悩まされる。 本稿では,フローベース生成モデルに基づくオンライン推定のためのクローズドフォーム近似手法を提案する。 Maze2D タスクと Kitchen タスクの実験結果から,本手法は最大10倍のトレーニングステップで競争性能を達成できることが示された。
  論文  参考訳（メタデータ） (2025-06-20T02:12:04Z)
• Enhancing Fairness through Reweighting: A Path to Attain the Sufficiency Rule [23.335423207588466]
  モデルトレーニングにおける経験的リスク最小化プロセスを強化するための革新的なアプローチを導入する。 このスキームは、最適予測器が多様なサブグループ間で整合性を維持することを保証することによって、公正性における十分性規則を維持することを目的としている。
  論文  参考訳（メタデータ） (2024-08-26T09:19:58Z)
• Improved Noise Schedule for Diffusion Training [51.849746576387375]
  本稿では,拡散モデルのトレーニングを強化するため,ノイズスケジュールを設計するための新しい手法を提案する。 我々は,標準のコサインスケジュールよりもノイズスケジュールの方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-07-03T17:34:55Z)
• Adaptive Training Meets Progressive Scaling: Elevating Efficiency in Diffusion Models [52.1809084559048]
  TDCトレーニングと呼ばれる新しい2段階分割型トレーニング戦略を提案する。 タスクの類似性と難易度に基づいてタイムステップをグループ化し、高度にカスタマイズされた復調モデルを各グループに割り当て、拡散モデルの性能を向上させる。 2段階のトレーニングでは、各モデルを個別にトレーニングする必要がなくなるが、総トレーニングコストは、単一の統合されたデノナイジングモデルをトレーニングするよりもさらに低い。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• Unmasking Bias in Diffusion Model Training [40.90066994983719]
  拡散モデルが画像生成の主流のアプローチとして登場した。 トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。 本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。