論文の概要: VA-TDM: A Unified View for Improving Few-Step Diffusion Models by Velocity Adversarial Distillation
- arxiv url: http://arxiv.org/abs/2611.06796v1
- Date: Wed, 04 Nov 2026 17:14:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.213055
- Title: VA-TDM: A Unified View for Improving Few-Step Diffusion Models by Velocity Adversarial Distillation
- Title(参考訳): VA-TDM: 速度反転蒸留によるフイステップ拡散モデルの改善のための統一ビュー
- Abstract要約: 拡散・流動モデルによる効率のよい蒸留法は少ないが, 少数の採取工程で品質を維持することは依然として困難である。
本研究では,学生と教師のフィールドを比較し,不一致を学習のフィードバックに変えるために,学習評論家を用いたVelocity Adrial Distillation(VAD)を紹介する。
VATDMは,学生の軌跡に沿った部分的逆転の監視を行う。
- 参考スコア(独自算出の注目度): 41.59646063643915
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Few-step distillation offers efficient generation with diffusion and flow models, but preserving quality with only a few sampling steps remains challenging. Distribution-matching methods via score distillation provide a strong foundation, yet they rely on accurately tracking the student's changing distribution. At intermediate generation steps in few-step sampling, student-score estimation can be difficult, and commonly used estimators may describe a different distribution from the one used to update the student. Flow matching allows a more flexible approach to supervision through velocity fields constructed from the student's sampling process. Building on this perspective, we introduce Velocity Adversarial Distillation (VAD), which uses a learned critic to compare student and teacher fields and turn their disagreement into feedback for learning. VAD unifies score distillation, Fisher-based matching, and moment matching, also explaining existing heuristic MMD updates and delivering new training objectives. We further develop VA-TDM, which follows trajectory distribution matching: providing supervision for partial denoising along the student trajectory. Beyond this, VA-TDM combines transition-aware online velocity learning and dual-form VAD supervision across intermediate student transitions. Extensive results show that VA-TDM is powerful for learning few-step generators, achieving state-of-the-art four-step performance in both text-to-image and text-to-video generation across various backbones and scaling effectively to 33B MiniMax-H3. In particular, our VA-TDM-H3 notably outperforms the few-step Fast-H3 and is closer to the original many-step H3 according to human preference.
- Abstract(参考訳): 拡散・流動モデルによる効率のよい蒸留法は少ないが, 少数の採取工程で品質を維持することは依然として困難である。
スコア蒸留による分布マッチング手法は強力な基礎を提供するが、学生の分布の変化を正確に追跡することに依存している。
数段階サンプリングの中間段階において、学生スコア推定は困難であり、一般的に使用される推定器は、生徒の更新に使用するものと異なる分布を記述することができる。
フローマッチングは、学生のサンプリングプロセスから構築された速度場を通して、より柔軟な監視アプローチを可能にする。
この観点から、学習評論家を用いて、学生と教師のフィールドを比較し、不一致を学習のためのフィードバックに変換するVelocity Adversarial Distillation (VAD)を導入する。
VADは、スコア蒸留、フィッシャーベースのマッチング、モーメントマッチングを統一し、既存のヒューリスティックMDDのアップデートを説明し、新しいトレーニング目標を提供する。
さらに, VA-TDMを開発し, 軌跡分布マッチングに追従し, 学生の軌跡に沿った部分的認知の指導を行う。
VA-TDMは、移行対応のオンラインベロシティ学習と、中等生の移行にまたがるデュアルフォームのVAD管理を組み合わせたものだ。
その結果,VA-TDMは,テキスト・ツー・イメージとテキスト・ツー・ビデオの両方において,最先端の4段階のパフォーマンスを実現し,33B MiniMax-H3まで効果的にスケールできることが示唆された。
特に、私たちのVA-TDM-H3はFast-H3よりも優れており、人間の好みに応じて元の多段階H3に近い。
関連論文リスト
- Simplifying and Improving On-Policy Distillation for Few-Step Diffusion [60.45650436067934]
少ない段階の蒸留は拡散・流動モデルのサンプリングコストを低減させるが、既存の手法では補助的なスコアモデルや特殊なアーキテクチャを必要とすることが多い。
4-NFE生成の基盤として, 簡易なオン・ポリティクス速度回帰法がすでに有効であることを示す。
本稿では,学習者の区間平均予測から局所的な補正を分離する訓練専用残差プロキシであるPivotを紹介する。
論文 参考訳(メタデータ) (2026-10-13T14:35:46Z) - Perceptual Flow Matching for Few-Step Generative Modeling [64.26537634881244]
知覚フローマッチング(Perceptual Flow Matching)は、フローマッチングモデルにおいて、数ステップ生成のためのフレームワークである。
PFMは、適切な表現空間で教師される際に、高品質な数ステップジェネレータを生成する。
論文 参考訳(メタデータ) (2026-07-03T17:55:01Z) - AdvDMD: Adversarial Reward Meets DMD For High-Quality Few-Step Generation [29.31853528513521]
拡散モデルは、広範囲なサンプリングステップを犠牲にして、より優れた世代品質を提供する。
本稿ではDMD蒸留とRLをシームレスに統一するAdvDMDを提案する。
我々は、より安定的で効率的なトレーニングを実現するために、統一されたSDE後方シミュレーションとMDDとRLの異なるトレーニングスケジュールを採用する。
論文 参考訳(メタデータ) (2026-04-29T16:56:05Z) - Transition Matching Distillation for Fast Video Generation [63.1049790376783]
本稿では,ビデオ拡散モデルを効率の良い数ステップ生成器に蒸留するための新しいフレームワークであるTransition Matching Distillation (TMD)を提案する。
TMDは拡散モデルの多段階認知軌道と数段階の確率遷移過程とを一致させる。
TMDは、生成速度と視覚的品質の間の柔軟性と強力なトレードオフを提供する。
論文 参考訳(メタデータ) (2026-01-14T21:30:03Z) - Distribution Matching Distillation Meets Reinforcement Learning [30.960105413888943]
本稿では,RL(Reinforcement Learning)技術と蒸留プロセスを組み合わせた新しいフレームワークDMDRを提案する。
数ステップのジェネレータのRLでは、MDD損失自体が従来のジェネレータよりも効果的な正規化であることを示す。
実験により、DMDRは目立った視覚的品質を達成でき、数ステップの手法間のコヒーレンスを促進でき、多ステップの教師を超えるパフォーマンスを発揮できることが示された。
論文 参考訳(メタデータ) (2025-11-17T17:59:54Z) - Few-step Flow for 3D Generation via Marginal-Data Transport Distillation [104.76254102015794]
数段階の3次元流体蒸留のための新しいフレームワーク MDT-dist を提案する。
我々のアプローチは、事前訓練されたモデルを蒸留して、Marginal-Data Transportを学習する、という第一の目的に基づいて構築されている。
提案手法は,A800におけるA800の9.0倍,6.5倍の速度で0.68s (1 Step x2) と0.94s (2 Step x2) のレイテンシを実現するため,各流れトランスのサンプリングステップを25から2に短縮する。
論文 参考訳(メタデータ) (2025-09-04T17:24:31Z) - Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。
提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。
SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
論文 参考訳(メタデータ) (2025-07-24T16:45:05Z) - Learning Few-Step Diffusion Models by Trajectory Distribution Matching [18.229753357571116]
トラジェクティブ・ディストリビュータ・マッチング(TDM)は、トラジェクタ・マッチングとトラジェクタ・マッチングの強さを組み合わせた統合蒸留パラダイムである。
我々は,学習目標を異なるステップで分離し,より調整可能なサンプリングを可能にする,サンプリングステップ対応の目標を開発する。
我々のモデルであるTDMは、様々なバックボーン上で既存の手法よりも優れており、優れた品質を提供し、トレーニングコストを大幅に削減する。
論文 参考訳(メタデータ) (2025-03-09T15:53:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。