論文の概要: Joint Alignment and Distillation for Video Generation via Sample-Guided Distribution Matching
- arxiv url: http://arxiv.org/abs/2609.04283v1
- Date: Thu, 03 Sep 2026 04:46:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.765659
- Title: Joint Alignment and Distillation for Video Generation via Sample-Guided Distribution Matching
- Title（参考訳）: サンプル誘導分布マッチングによるビデオ生成のための共同アライメントと蒸留
- Abstract要約: 本稿では,分散マッチングに基づく統合された単一ステージ最適化フレームワークを提案する。
標準的なDMフレームワークでは、蒸留は、実際のモデルと偽モデルのギャップを最小限に抑える勾配方向を通してモデルを更新する。
DM-Alignを導入し, モデルから人間の好むサンプルを導出するために, 相補的な勾配方向を導出する。
- 参考スコア（独自算出の注目度）: 36.00855152229835
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aligning video generative models to human preferences heavily relies on Reinforcement Learning (RL), which suffers from extensive computational overhead. Existing workflows typically treat RL and distillation as disconnected stages: applying RL before distillation incurs prohibitive computational costs, whereas applying RL after distillation frequently leads to model collapse. To overcome these limitations, we propose a unified, single-stage optimization framework grounded in Distribution Matching (DM). In the standard DM framework, distillation updates the model via a gradient direction that minimizes the gap between the real and fake models, guiding generations toward clarity and high fidelity. Building upon this, we introduce DM-Align, which derives a complementary gradient direction to guide the model toward human-preferred samples. Inspired by DPO and GRPO, our method leverages the distributional gap -- formulated from either preference pairs or intra-group exploration -- to directly construct this preference-guided gradient. By synergizing these two gradient directions, our approach eliminates the need for multi-step reward evaluation and complex ODE-SDE conversions inherent in traditional RL. Comprehensive experiments across multiple foundational video models demonstrate that this sample-guided framework robustly enhances both distillation quality and preference alignment, consistently outperforming both standalone variants and sequential two-stage pipelines.
- Abstract（参考訳）: ビデオ生成モデルを人間の好みに合わせることは、計算オーバーヘッドの大きい強化学習(Reinforcement Learning, RL)に大きく依存する。
既存のワークフローは通常、RLと蒸留を非連結の段階として扱うが、蒸留前にRLを適用すると不当な計算コストが発生する。
これらの制限を克服するために,分散マッチング(DM)に基づく統一された単一ステージ最適化フレームワークを提案する。
標準のDMフレームワークでは、蒸留は、実モデルと偽モデルの間のギャップを最小限に抑える勾配方向を通してモデルを更新し、世代を明確かつ忠実に導く。
そこで, DM-Alignを導入し, モデルが人間に好まれるサンプルへ導くための相補的な勾配方向を導出する。
DPO と GRPO にインスパイアされた本手法は, 選好対あるいはグループ内探索から得られる分布ギャップを利用して, この選好誘導勾配を直接構築する。
これら2つの勾配方向を相乗化することにより、従来のRLに固有の多段階報酬評価と複雑なODE-SDE変換の必要性を解消する。
複数の基礎的なビデオモデルにわたる総合的な実験により、このサンプル誘導フレームワークは蒸留品質と嗜好の整合性の両方を強力に向上させ、スタンドアローンの変種とシーケンシャルな2段階のパイプラインを一貫して上回ることを示した。
関連論文リスト
- Reinforcing Few-step Generators via Reward-Tilted Distribution Matching [34.875805803270524]
RTDMD (Reward-Tilted Distribution Matching Distillation) を提案する。
報奨型教師分布へのKL分散の最小化は,自然に分布マッチング項と報奨項に分解されることを示す。
SD3、SD3.5、FLUX.2の実験は、RTDMDが嗜好、美学、作曲のメトリクスをまたいだ新しい最先端の結果を確立することを示した。
論文 参考訳（メタデータ） (2026-05-25T17:59:21Z) - Linear-DPO: Linear Direct Preference Optimization for Diffusion and Flow-Matching Generative Models [5.527466367347639]
統合逆時間SDEフレームワークによる拡散とフローマッチングの両方をカバーする汎用DPO目標を導出する。
攻撃的シグモイドベースユーティリティ関数を持続的線形ユーティリティに置き換え,EMA更新参照モデルを組み込んだLinear-DPOを提案する。
論文 参考訳（メタデータ） (2026-05-20T12:54:51Z) - DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである
本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-14T16:49:09Z) - Guiding Distribution Matching Distillation with Gradient-Based Reinforcement Learning [41.982957134224904]
拡散蒸留は、数ステップの発電では大きな可能性を秘めているが、サンプリング速度のために品質を犠牲にすることが多い。
GDMDは, 原画素出力よりも蒸留勾配を優先することで, 報酬機構を再定義する新しいフレームワークである。
我々のモデルは、その多段階教師の質を上回り、GenEvalと人為的基準の指標において、従来のDMDRよりもかなり上回っている。
論文 参考訳（メタデータ） (2026-04-21T02:57:13Z) - Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。
既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。
本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
論文 参考訳（メタデータ） (2025-12-28T05:48:55Z) - G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。
複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。
G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
論文 参考訳（メタデータ） (2025-10-02T12:57:12Z) - Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。
提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。
SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
論文 参考訳（メタデータ） (2025-07-24T16:45:05Z) - Adding Additional Control to One-Step Diffusion with Joint Distribution Matching [58.37264951734603]
JDMは、画像-条件関節分布間の逆KL分散を最小化する新しいアプローチである。
トラクタブルな上限を導出することにより、JDMは条件学習から忠実度学習を分離する。
この非対称蒸留方式により,一段階の生徒が教師モデルに未知の制御を処理できるようになる。
論文 参考訳（メタデータ） (2025-03-09T15:06:50Z) - Preference Alignment for Diffusion Model via Explicit Denoised Distribution Estimation [18.295352638247362]
嗜好ラベルは典型的には、軌跡を識別する端末でのみ利用可能である。
そこで本研究では,中間ステップと端末の復号化分布を明示的に接続する復号化分布推定法を提案する。
我々の手法は定量的にも質的にも優れた性能を達成する。
論文 参考訳（メタデータ） (2024-11-22T11:45:33Z) - Distilling Diffusion Models into Conditional GANs [90.76040478677609]
複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。
E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。
我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
論文 参考訳（メタデータ） (2024-05-09T17:59:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。