論文の概要: Diagnosing and Improving Diffusion Models by Estimating the Optimal Loss Value

• arxiv url: http://arxiv.org/abs/2506.13763v1
• Date: Mon, 16 Jun 2025 17:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:49.215499
• Title: Diagnosing and Improving Diffusion Models by Estimating the Optimal Loss Value
• Title（参考訳）: 最適損失値の推定による拡散モデルの診断と改善
• Authors: Yixian Xu, Shengjie Luo, Liwei Wang, Di He, Chang Liu,
• Abstract要約: 拡散モデルの診断と改善のための最適損失値を推定する必要性を提唱する。 まず、拡散モデルの統一的な定式化の下で、閉形式の最適損失を導出する。 最適損失に基づいて,より高性能なトレーニングスケジュールを構築した。
• 参考スコア（独自算出の注目度）: 37.31559473176938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have achieved remarkable success in generative modeling. Despite more stable training, the loss of diffusion models is not indicative of absolute data-fitting quality, since its optimal value is typically not zero but unknown, leading to confusion between large optimal loss and insufficient model capacity. In this work, we advocate the need to estimate the optimal loss value for diagnosing and improving diffusion models. We first derive the optimal loss in closed form under a unified formulation of diffusion models, and develop effective estimators for it, including a stochastic variant scalable to large datasets with proper control of variance and bias. With this tool, we unlock the inherent metric for diagnosing the training quality of mainstream diffusion model variants, and develop a more performant training schedule based on the optimal loss. Moreover, using models with 120M to 1.5B parameters, we find that the power law is better demonstrated after subtracting the optimal loss from the actual training loss, suggesting a more principled setting for investigating the scaling law for diffusion models.
• Abstract（参考訳）: 拡散モデルは生成的モデリングにおいて顕著な成功を収めた。 より安定した訓練にもかかわらず、拡散モデルの損失は、その最適値は一般にゼロではないが未知であるため、絶対的なデータ適合品質を示すものではない。 本研究では,拡散モデルの診断と改善のための最適損失値を推定する必要性を提唱する。 まず、拡散モデルの統一的な定式化の下で閉形式の最適損失を導出し、分散とバイアスを適切に制御した大規模データセットにスケーラブルな確率的変動を含む、効果的な推定器を開発する。 このツールにより、主流拡散モデル変異のトレーニング品質を診断するための固有の指標を解放し、最適損失に基づいてより高性能なトレーニングスケジュールを開発する。 さらに、120Mから1.5Bのパラメータを持つモデルを用いて、実際のトレーニング損失から最適損失を減らした後に、パワー則がよりよく示され、拡散モデルのスケーリング則を研究するためのより原則的な設定が提案される。

関連論文リスト

• Inverse design with conditional cascaded diffusion models [0.0]
  随伴型設計最適化は通常計算コストが高く、それらのコストは分解能でスケールする。 我々は、条件付きカスケード拡散モデル(cCDM)の提案により、従来の生成モデルよりも拡散モデルの利用を拡大する。 本研究は,cCDMをcGANモデルと転写学習を比較した。 どちらのモデルも高分解能トレーニングデータを減らすことで性能が低下するが、cCDMは訓練データに制限がある場合、伝達学習を伴うcGANモデルよりも優れる。
  論文  参考訳（メタデータ） (2024-08-16T04:54:09Z)
• Constraint-Aware Diffusion Models for Trajectory Optimization [9.28162057044835]
  本稿では,軌道最適化のための制約対応拡散モデルを提案する。 拡散サンプルの制約違反を最小限に抑える訓練用ハイブリッド損失関数を提案する。 本モデルでは, テーブルトップ操作と2台のリーチ回避問題について検討した。
  論文  参考訳（メタデータ） (2024-06-03T04:53:20Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Unmasking Bias in Diffusion Model Training [40.90066994983719]
  拡散モデルが画像生成の主流のアプローチとして登場した。 トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。 本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)
• AdaDiff: Accelerating Diffusion Models through Step-Wise Adaptive Computation [32.74923906921339]
  拡散モデルは多彩で高忠実な画像を生成する上で大きな成功を収めるが、それらの応用は本質的に遅い生成速度によって妨げられる。 本稿では,拡散モデルの生成効率を向上させるために,各サンプリングステップで動的に計算資源を割り当てる適応フレームワークであるAdaDiffを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:10:04Z)
• Latent Code Augmentation Based on Stable Diffusion for Data-free Substitute Attacks [47.84143701817491]
  ブラックボックス代替攻撃では対象モデルのトレーニングデータが利用できないため、近年のスキームではGANを用いて代替モデルのトレーニングデータを生成する。 本稿では,SD(Stable Diffusion)に基づくデータフリー代替攻撃方式を提案する。
  論文  参考訳（メタデータ） (2023-07-24T15:10:22Z)
• The Surprising Effectiveness of Diffusion Models for Optical Flow and Monocular Depth Estimation [42.48819460873482]
  拡散確率モデルは、その印象的な忠実さと多様性で画像生成を変換した。 また,タスク固有のアーキテクチャや損失関数を使わずに,光学的フローと単眼深度の推定に優れることを示す。
  論文  参考訳（メタデータ） (2023-06-02T21:26:20Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。