論文の概要: Trajectory-Regularized Distribution Distillation for One-Step Generation
- arxiv url: http://arxiv.org/abs/2611.12978v1
- Date: Sun, 08 Nov 2026 06:05:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.505749
- Title: Trajectory-Regularized Distribution Distillation for One-Step Generation
- Title(参考訳): 一段階発生のための軌道規則化分散蒸留法
- Abstract要約: 軌道アライメントは教師の確率フローODEを監督するが、非常に小さなサンプリング予算の下で性能が低下する。
本研究では, トラジェクトリ・レギュラライズド・ディストリメーション(TRD)について, モーメント・ミキチャー・ポリシーを用いて, 分散レベルとトラジェクトリレベルを併用したトラジェクトリ・レギュラライズド・ディストリメーション(TRD)を提案する。
- 参考スコア(独自算出の注目度): 33.15306440065232
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distilling flow matching models for one-step generation generally follows two paradigms. Trajectory alignment supervises the student with the teacher's probability flow ODE, but its performance degrades under very small sampling budgets. Distribution matching directly optimizes the generated distribution, but estimating its reverse Kullback-Leibler gradient typically requires a separate network to track the evolving student score. We propose trajectory-regularized distribution distillation (TRD), which combines distribution-level and trajectory-level supervision through a momentum-mixture policy predicted in a single student forward pass. This policy serves simultaneously as a one-step generator, an estimator of the student's marginal velocity that removes the need for a second trainable network in distribution matching, and a closed-form time-dependent velocity field supervised along the teacher ODE trajectory. Experiments on SANA-1.6B and Stable Diffusion 3.5 show that TRD outperforms representative consistency and distribution matching baselines in generation quality and training efficiency for both one-step and few-step generation, with a trade-off in sample diversity.
- Abstract(参考訳): 1ステップ生成のための蒸留フローマッチングモデルは、一般的に2つのパラダイムに従う。
軌道アライメントは教師の確率フローODEを監督するが、非常に小さなサンプリング予算の下で性能が低下する。
分布マッチングは生成した分布を直接最適化するが、逆のクルバック・リーブラー勾配を推定するには、進化する学生のスコアを追跡するための別のネットワークが必要である。
本研究では,1人の学生のフォワードパスで予測される運動量混合政策を通じて,分布レベルと軌跡レベルを併用したトラジェクトリ正規分布蒸留(TRD)を提案する。
このポリシーは同時に1ステップのジェネレータ、分布マッチングにおける第2のトレーニング可能なネットワークの必要性を取り除く学生の限界速度推定器、教師ODE軌道に沿って監督される閉形式時間依存速度場として機能する。
SANA-1.6BとStable Diffusion 3.5の実験では、TRDは1段階と数段階の双方で生成品質とトレーニング効率において代表的一貫性と分布整合ベースラインを上回り、サンプルの多様性はトレードオフしている。
関連論文リスト
- Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher [36.07614733558147]
フローマッチングモデルのための教師なしOPDフレームワークである textbfSelf-OPD を紹介する。
Self-OPDは決定論的次状態予測を$K$SDE候補に分割し、ODEサンプルとロールアウトして、決定論的自己参照ベースラインと比較する。
単品と混合報酬のベンチマーク実験により、セルフOPDはタスク固有の教師を伴わずに、以前のRLとOPDメソッドよりも優れていた。
論文 参考訳(メタデータ) (2026-08-27T09:34:23Z) - Beyond Trajectory Matching: Reflow with Marginal Distribution Alignment [7.13416637929041]
拡散および連続フロー生成モデルは高品質な生成を実現する。
リフローに基づく蒸留は、教師のODE軌道を単純化し、生徒モデルが教師の移動を少ないステップで近似できるようにする。
本稿では,各蒸留間隔の終点において,学生が引き起こした限界値とそれに対応する教師の限界値との差分をペナライズする境界アライメント正規化器を提案する。
論文 参考訳(メタデータ) (2026-06-28T09:19:44Z) - Constrained Diffusion Models with Primal-Dual Inference [76.64466170898369]
我々はPDI(primal-Dual Inference)を用いた制約付き拡散モデルを開発する。
PDIは最適原始分布とそのパラメトリゼーション双対変数を推定する。
我々は、ガウシアン、無線リソースアロケーション、ポートフォリオ管理の混合による制約サンプリングに基づくPDIを評価する。
論文 参考訳(メタデータ) (2026-06-15T18:32:33Z) - Reinforcing Few-step Generators via Reward-Tilted Distribution Matching [34.875805803270524]
RTDMD (Reward-Tilted Distribution Matching Distillation) を提案する。
報奨型教師分布へのKL分散の最小化は,自然に分布マッチング項と報奨項に分解されることを示す。
SD3、SD3.5、FLUX.2の実験は、RTDMDが嗜好、美学、作曲のメトリクスをまたいだ新しい最先端の結果を確立することを示した。
論文 参考訳(メタデータ) (2026-05-25T17:59:21Z) - DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである
本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2026-05-14T16:49:09Z) - SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training [54.8494905524997]
分散トレーニングは、信頼できない、地理的に分散したノードで実行される場合、重大なセキュリティリスクをもたらす。
重複のないパイプライン並列性(PP)トレーニングの検証機構であるSENTINELを提案する。
実験では、モデル収束と性能を維持しながら、最大176人の労働者を持つ信頼できない分散環境における最大4BパラメータLSMのトレーニングを成功させた。
論文 参考訳(メタデータ) (2026-03-03T23:51:10Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳(メタデータ) (2023-11-02T16:45:25Z) - Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。
提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
論文 参考訳(メタデータ) (2023-06-14T08:00:49Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。