論文の概要: Correction Training for Diffusion Models

• arxiv url: http://arxiv.org/abs/2610.14136v2
• Date: Wed, 14 Oct 2026 06:12:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.014043
• Title: Correction Training for Diffusion Models
• Title（参考訳）: 拡散モデルの補正訓練
• Abstract要約: このトレーニングと推論のギャップを減らそうとする拡散モデルの補正ステップを導入する。 補正者は、ベースモデルの予測を入力として、同じ接地目標に対してトレーニングする。 サンプリング中、各デノイングステップにおいて、デノワザーのクリーンサンプル予測を反復的に洗練する。 補正器は、ベースデノイザからの予測のみに基づいて訓練されるが、推論時に自分自身の出力に繰り返し適用することで、より良い結果が得られる。
• 参考スコア（独自算出の注目度）: 38.67214934380264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Iterative sampling in diffusion models can lead to error accumulation due to exposure bias. The denoiser is trained on real images interpolated with noise, but at inference its inputs are constructed from its own imperfect predictions from the earlier steps, something it has never seen at training time. This might be one reason diffusion models often struggle without additional help, such as CFG. We introduce a correction step for diffusion models which attempts to reduce this training-inference gap. The corrector takes the base model's prediction as input and is trained against the same ground-truth target. This makes correction an explicit learning task, with training inputs provided by the base model. During sampling, at each denoising step, we iteratively refine the denoiser's clean-sample prediction. This allows us to correct predictions at intermediate denoising steps, preventing early artifacts from persisting into the final sample. Although the corrector is trained only on predictions from the base denoiser, it can be applied repeatedly to its own outputs at inference for better results. This simple framework leads to substantial improvement in sample quality while largely preserving diversity. We evaluate our method across DiT, SiT, and JiT. Our method substantially improves upon previously reported FID scores for unguided generation and, notably, unconditional generation, where producing high-quality samples without guidance has been particularly challenging. Our method achieves performance competitive with classifier-free guidance (CFG), and combining correction with CFG further improves diversity and reduces oversaturation typical of CFG. Finally, we show that the additional inference cost of correction can be amortized by distilling the refined predictions back into the base diffusion model, retaining the quality gains without additional inference-time overhead.
• Abstract（参考訳）: 拡散モデルにおける反復サンプリングは、露光バイアスによる誤差の蓄積につながる可能性がある。 ノイズで補間された実際の画像に基づいてトレーニングされるが、推測すると、入力は以前のステップからの不完全な予測から構築される。 これは拡散モデルがCFGのような追加の助けなしにしばしば苦労する理由の1つかもしれない。 このトレーニングと推論のギャップを減らそうとする拡散モデルの補正ステップを導入する。 補正者は、ベースモデルの予測を入力として、同じ接地目標に対してトレーニングする。 これにより、ベースモデルが提供するトレーニング入力を伴って、修正を明示的な学習タスクとする。 サンプリング中、各デノイングステップにおいて、デノワザーのクリーンサンプル予測を反復的に洗練する。 これにより、中間段階の予測を修正でき、初期アーティファクトが最終サンプルに永続化されるのを防ぐことができる。 補正器は、ベースデノイザからの予測のみに基づいて訓練されるが、推論時に自分自身の出力に繰り返し適用することで、より良い結果が得られる。 この単純なフレームワークは、ほとんど多様性を保ちながら、サンプル品質を大幅に改善します。 提案手法をDiT, SiT, JiTにまたがって評価した。 本手法は, 誘導のない高品質なサンプルの生成が特に困難である無誘導世代, 特に無条件世代において, 従来報告されていたFIDスコアを大幅に改善する。 本手法は,分類器フリーガイダンス (CFG) と競合する性能を実現し,CFGと補正を組み合わせることにより,多様性が向上し,CFGの典型的な過飽和が低減される。 最後に, 改良された予測をベース拡散モデルに蒸留し, 追加の予測時間オーバーヘッドを伴わずに品質向上を維持することにより, 補正のさらなる推論コストを償却できることを示す。

関連論文リスト

• Let It Go or Learn to Self-Correct: Continuous Diffusion for Constrained Discrete Tasks [16.76819088768813]
  拡散確率モデル(Denoising Diffusion Probabilistic Models)は、各更新を現在のノイズ状態に近い状態に保ちながら、繰り返しdenoisingによってサンプルを生成する。 モデルのクリーンな予測が有益である場合でも,標準拡散サンプリングは早期の誤りを保存する可能性があることを示す。 自己補正トレーニングを導入し、モデル自体の予測に公開し、推論中に発生するエラーに対する堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-09-08T16:45:52Z)
• From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models [58.02657021435213]
  我々は、Gibs-Accelerated Discrete Diffusion (GADD)と呼ばれる離散拡散モデルのための新しいGibsベースの修正器を提案する。 我々はGADDが$mathcalO(mathrmpolylog (varepsilon-1)$の総合的なサンプリング複雑性を達成し、均一レートの離散拡散モデルに対する拡散に基づくサンプリング者にとって最初のレートとなることを示す。
  論文  参考訳（メタデータ） (2026-05-26T17:52:28Z)
• Enhancing Diffusion Model Guidance through Calibration and Regularization [9.22066257345387]
  本稿では,この問題に対処するための2つの補完的貢献を紹介する。 まず,Smooth expected Error(Smooth ECE)に基づく微分可能なキャリブレーション目標を提案する。 第2に,再訓練を必要とせず,市販の分類器で動作可能なサンプリング誘導手法を開発した。
  論文  参考訳（メタデータ） (2025-11-08T04:23:42Z)
• ADT: Tuning Diffusion Models with Adversarial Supervision [16.974169058917443]
  拡散モデルは、真のデータ分布を近似するために前方ノイズ発生過程を反転させることで、優れた画像生成を実現している。 本稿では、最適化中の推論プロセスを刺激し、最終的な出力をトレーニングデータと整合させるために、Adrial Diffusion Tuning (ADT)を提案する。 ADTは、固定されたトレーニング済みのバックボーンと軽量なトレーニング可能なパラメータを備えたシアム-ネットワーク識別器を備えている。
  論文  参考訳（メタデータ） (2025-04-15T17:37:50Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• Unmasking Bias in Diffusion Model Training [40.90066994983719]
  拡散モデルが画像生成の主流のアプローチとして登場した。 トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。 本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)
• Mitigating Catastrophic Forgetting in Scheduled Sampling with Elastic Weight Consolidation in Neural Machine Translation [15.581515781839656]
  最大推定値で訓練された自己回帰モデルは、露出バイアスに悩まされる。 露光バイアスの軽減と出力品質の維持のトレードオフとして, 弾性重み強化(Elastic Weight Consolidation)を提案する。 2つのIWSLT'14翻訳タスクの実験は、我々のアプローチが破滅的な忘れを軽減し、BLEUを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-09-13T20:37:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。