論文の概要: Stabilizing Consistency Training: A Flow Map Analysis and Self-Distillation

• arxiv url: http://arxiv.org/abs/2601.22679v1
• Date: Fri, 30 Jan 2026 07:51:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.306886
• Title: Stabilizing Consistency Training: A Flow Map Analysis and Self-Distillation
• Title（参考訳）: 一貫性トレーニングの安定化:フローマップ解析と自己蒸留
• Authors: Youngjoong Kim, Duhoe Kim, Woosung Kim, Jaesik Park,
• Abstract要約: 本稿では,フローマップの観点から解析することで,一貫性モデルの理論的検討を行う。 これらの知見に基づいて, ある形態の準最適収束に対する実践的な対策として, 自己蒸留を再考する。
• 参考スコア（独自算出の注目度）: 28.716825452690173
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Consistency models have been proposed for fast generative modeling, achieving results competitive with diffusion and flow models. However, these methods exhibit inherent instability and limited reproducibility when training from scratch, motivating subsequent work to explain and stabilize these issues. While these efforts have provided valuable insights, the explanations remain fragmented, and the theoretical relationships remain unclear. In this work, we provide a theoretical examination of consistency models by analyzing them from a flow map-based perspective. This joint analysis clarifies how training stability and convergence behavior can give rise to degenerate solutions. Building on these insights, we revisit self-distillation as a practical remedy for certain forms of suboptimal convergence and reformulate it to avoid excessive gradient norms for stable optimization. We further demonstrate that our strategy extends beyond image generation to diffusion-based policy learning, without reliance on a pretrained diffusion model for initialization, thereby illustrating its broader applicability.
• Abstract（参考訳）: 高速な生成モデルのための一貫性モデルが提案され、拡散モデルや流れモデルと競合する結果が得られた。 しかしながら、これらの手法は、スクラッチからトレーニングする際の固有の不安定性と限定的な再現性を示し、これらの問題を説明・安定化するためにその後の研究を動機付けている。 これらの努力は貴重な洞察を与えてきたが、説明は断片化され、理論的な関係はいまだ不明である。 本研究では,フローマップの観点から解析することで,一貫性モデルの理論的検討を行う。 この共同分析は、トレーニングの安定性と収束挙動が解を退化させる方法を明らかにする。 これらの知見に基づいて, ある形態の準最適収束に対する実践的な対策として自己蒸留を再考し, 安定な最適化のために過度な勾配ノルムを避けるためにそれを再構成する。 さらに,この戦略は,初期化のための事前学習された拡散モデルに頼らずに,画像生成から拡散に基づく政策学習まで拡張され,より広範な適用性を示す。

関連論文リスト

• A PDE Perspective on Generative Diffusion Models [8.328108675535562]
  我々は、スコアベース拡散プロセスのための厳密な偏微分方程式(PDE)フレームワークを開発する。 我々は、関連するスコアベースのFokker-Planckダイナミクスに対して、急激な$Lp$-stability推定を導出する。 その結果、正確な誘導の下で拡散軌道がデータ多様体に戻るという理論的保証が得られる。
  論文  参考訳（メタデータ） (2025-11-08T09:19:25Z)
• Solving Inverse Problems with FLAIR [68.87167940623318]
  本稿では,フローベース生成モデルを逆問題に先立って活用する学習自由変分フレームワークFLAIRを提案する。 標準画像ベンチマークの結果、FLAIRは再現性やサンプルの多様性の観点から、既存の拡散法や流れ法よりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-03T09:29:47Z)
• Elucidating Flow Matching ODE Dynamics with Respect to Data Geometries and Denoisers [10.947094609205765]
  フローマッチング(FM)モデルは、ODEサンプルモデルに基づく拡散モデルを一般的なフレームワークに拡張する。 FMモデルの厳密な理論的解析は、サンプルの品質、安定性、より広範な適用性に不可欠である。 本稿では,サンプル軌道の包括的解析により,FMモデルの理論を推し進める。
  論文  参考訳（メタデータ） (2024-12-25T01:17:15Z)
• Unmasking Bias in Diffusion Model Training [40.90066994983719]
  拡散モデルが画像生成の主流のアプローチとして登場した。 トレーニングの収束が遅く、サンプリングのカラーシフトの問題に悩まされている。 本稿では,これらの障害は,既定のトレーニングパラダイムに固有のバイアスや準最適性に大きく起因していると考えられる。
  論文  参考訳（メタデータ） (2023-10-12T16:04:41Z)
• On the Equivalence of Consistency-Type Models: Consistency Models, Consistent Diffusion Models, and Fokker-Planck Regularization [68.13034137660334]
  本稿では,異なる目的に対する拡散モデルの拡張を目的とした,最近の3つの一貫性の概念間の理論的関連性を提案する。 私たちの洞察は、一貫性型モデルのためのより包括的で包括的なフレームワークの可能性を提供します。
  論文  参考訳（メタデータ） (2023-06-01T05:57:40Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。