論文の概要: Align Your Tangent: Training Better Consistency Models via Manifold-Aligned Tangents

• arxiv url: http://arxiv.org/abs/2510.00658v1
• Date: Wed, 01 Oct 2025 08:35:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.469287
• Title: Align Your Tangent: Training Better Consistency Models via Manifold-Aligned Tangents
• Title（参考訳）: Anign your Tangent: Manifold-Aligned Tangentsによる一貫性モデルのトレーニング
• Authors: Beomsu Kim, Byunghee Cha, Jong Chul Ye,
• Abstract要約: 一貫性モデル(CM)は、フロー常微分方程式の軌跡に一貫性があるように訓練される。 CMは典型的には、競争力のあるサンプルの品質を得るために、大きなバッチサイズで長期のトレーニングを必要とする。 本稿では,データ多様体に向いた多様体整列接点を提供する,MFDと呼ばれる新しい損失関数を提案する。
• 参考スコア（独自算出の注目度）: 55.43139356528315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With diffusion and flow matching models achieving state-of-the-art generating performance, the interest of the community now turned to reducing the inference time without sacrificing sample quality. Consistency Models (CMs), which are trained to be consistent on diffusion or probability flow ordinary differential equation (PF-ODE) trajectories, enable one or two-step flow or diffusion sampling. However, CMs typically require prolonged training with large batch sizes to obtain competitive sample quality. In this paper, we examine the training dynamics of CMs near convergence and discover that CM tangents -- CM output update directions -- are quite oscillatory, in the sense that they move parallel to the data manifold, not towards the manifold. To mitigate oscillatory tangents, we propose a new loss function, called the manifold feature distance (MFD), which provides manifold-aligned tangents that point toward the data manifold. Consequently, our method -- dubbed Align Your Tangent (AYT) -- can accelerate CM training by orders of magnitude and even out-perform the learned perceptual image patch similarity metric (LPIPS). Furthermore, we find that our loss enables training with extremely small batch sizes without compromising sample quality. Code: https://github.com/1202kbs/AYT
• Abstract（参考訳）: 拡散と流れのマッチングモデルが最先端の性能を達成することで、コミュニティの関心は、サンプルの品質を犠牲にすることなく、推論時間を短縮することに変わりました。 拡散または確率流常微分方程式(PF-ODE)軌道に整合性を持つよう訓練された一貫性モデル(CM)は、1段階または2段階のフローまたは拡散サンプリングを可能にする。 しかし、CMは典型的には、競争力のあるサンプル品質を得るために、大きなバッチサイズで長期間のトレーニングを必要とする。 本稿では, CMの収束付近におけるトレーニング力学を考察し, CM出力更新方向であるCM接点が, 多様体ではなくデータ多様体に平行に動くという意味で非常に振動的であることを明らかにする。 振動的接点を緩和するために,データ多様体を向いた多様体整列接点を提供するMFDと呼ばれる新しい損失関数を提案する。 その結果、AYT(Align Your Tangent)と呼ばれる手法は、CMトレーニングを桁違いに加速させ、学習された知覚的イメージパッチ類似度指標(LPIPS)を上回ります。 さらに,我々の損失は,サンプルの品質を損なうことなく,極めて小さなバッチサイズでのトレーニングを可能にすることがわかった。 コード:https://github.com/1202kbs/AYT

関連論文リスト

• Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion [55.185588994883226]
  VQ-LCMDは、学習を安定させる埋め込み空間内の連続空間潜在拡散フレームワークである。 VQ-LCMDは、関節埋め込み拡散変動下界と整合整合性(CM)損失を組み合わせた新しいトレーニング目標を使用する。 実験により,提案したVQ-LCMDは離散状態潜伏拡散モデルと比較して,FFHQ,LSUN教会,LSUNベッドルームにおいて優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-10-18T09:12:33Z)
• Improving Consistency Models with Generator-Augmented Flows [16.049476783301724]
  一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。 それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。 本稿では,一貫性モデルから得られたノイズデータを対応する出力へ転送する新しい流れを提案する。
  論文  参考訳（メタデータ） (2024-06-13T20:22:38Z)
• Diffusion Generative Flow Samplers: Improving learning signals through partial trajectory optimization [87.21285093582446]
  Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。 生成フローネットワーク(GFlowNets)のための理論から着想を得た。
  論文  参考訳（メタデータ） (2023-10-04T09:39:05Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• Generative Modeling with Flow-Guided Density Ratio Learning [12.192867460641835]
  Flow-Guided Density Ratio Learning (FDRL)は、生成モデルに対するシンプルでスケーラブルなアプローチである。 我々は,FDRLが128時間128ドルの高次元の画像を生成するとともに,既存の勾配流ベースラインを定量的なベンチマークで上回っていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T07:55:52Z)
• Flows for simultaneous manifold learning and density estimation [12.451050883955071]
  多様体学習フロー(M-flow)は、多様体構造を持つデータセットをより忠実に表現する。 M-フローはデータ多様体を学習し、周囲のデータ空間の標準フローよりも優れた推論を可能にする。
  論文  参考訳（メタデータ） (2020-03-31T02:07:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。