論文の概要: Simplifying and Improving On-Policy Distillation for Few-Step Diffusion

• arxiv url: http://arxiv.org/abs/2610.18472v1
• Date: Tue, 13 Oct 2026 14:35:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 21:09:00.731733
• Title: Simplifying and Improving On-Policy Distillation for Few-Step Diffusion
• Title（参考訳）: 短時間拡散におけるオンライン蒸留の簡易化と改善
• Abstract要約: 少ない段階の蒸留は拡散・流動モデルのサンプリングコストを低減させるが、既存の手法では補助的なスコアモデルや特殊なアーキテクチャを必要とすることが多い。 4-NFE生成の基盤として, 簡易なオン・ポリティクス速度回帰法がすでに有効であることを示す。 本稿では,学習者の区間平均予測から局所的な補正を分離する訓練専用残差プロキシであるPivotを紹介する。
• 参考スコア（独自算出の注目度）: 60.45650436067934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-step distillation reduces the sampling cost of diffusion and flow models, but existing approaches often require auxiliary score models or specialized architectures. We show that simple on-policy velocity regression already provides a strong foundation for 4-NFE generation. To represent teacher velocity variation within each coarse transition, we introduce Pivot, a training-only residual proxy that separates local corrections from the student's interval-mean prediction. We further repel the student from weaker teacher predictions, providing a lightweight mechanism for avoiding undesirable modes. The resulting framework, Simplified Matching Distillation (SMD), remains entirely regression-based, requires neither online score estimation nor adversarial training, and leaves the deployed generator unchanged. We evaluate SMD on image generation and editing, 3D generation, video synthesis, and joint audio--video generation, scaling to 33 billion parameters. At 4-NFE, SMD outperforms strong few-step baselines and surpasses multi-step teachers on several benchmarks. It also supports cross-model, multi-teacher, and causal-video distillation.
• Abstract（参考訳）: 少ない段階の蒸留は拡散・流動モデルのサンプリングコストを低減させるが、既存の手法では補助的なスコアモデルや特殊なアーキテクチャを必要とすることが多い。 4-NFE生成の基盤として, 簡易なオン・ポリティクス速度回帰法がすでに有効であることを示す。 各粗い遷移における教師の速度変化を表現するために,学生の区間平均予測から局所的な補正を分離する訓練専用残留プロキシであるPivotを導入する。 さらに、教師の予測の弱さから生徒を撃退し、望ましくないモードを避けるための軽量なメカニズムを提供する。 結果として得られるフレームワークであるSimplified Matching Distillation (SMD)は、完全に回帰ベースであり、オンラインスコア推定や逆行訓練を必要とせず、デプロイされたジェネレータをそのままにしておく。 画像生成,編集,3D生成,ビデオ合成,共同音声-ビデオ生成におけるSMDの評価を行い,33億のパラメータに拡張した。 4-NFEでは、SMDは強力な数ステップのベースラインを上回り、複数のベンチマークでマルチステップの教師を上回っている。 クロスモデル、マルチティーチンガー、因果ビデオ蒸留もサポートしている。

関連論文リスト

• Parametric Trajectory Distillation for Few-Step Video Generation [90.97081462839903]
  パラメトリックトラジェクトリ蒸留(PTD)は、学習者が背骨の予測能力に適応し、運動と多様性を維持するように設計されている。 Wan2.Bでは、4段階のPTDがトラジェクトリー蒸留技術の新しい状態を設定し、PDDよりも動的品質と自然性を著しく改善した。 33BオーディオビデオのMiniMax-H3では、LoRAで訓練されたPTDは、最先端のLightX2Vターボの多様性と自然性を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-10-08T08:38:01Z)
• DyMD: Preserving Interaction Dynamics through Distribution Matching Distillation in Few-Step Video World Models [25.918853227970885]
  分散マッチング蒸留(DMD)は、数ステップのビデオ生成を可能にする。 弱い再雑音は、教師が運動不足のロールアウトの近くに後続に集中させます。 強い動きのロールアウトは、より大きなフェイクスコアのフィッティングエラーを引き起こす傾向がある。 教師の指導と批判を両立させるDyMDフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-25T14:47:17Z)
• ViRDM: Taming Representation Distribution Matching for Few-Step Causal Video Generation [24.773587278828675]
  ViRDMは教師と批評家のいないポストトレーニングのレシピである。 3ネットワーク蒸留を発電機のみのポストトレーニングに変換する。 ジェネレータの更新はわずか20回で、公式のVBench評価では84.87回に達した。
  論文  参考訳（メタデータ） (2026-09-24T02:07:07Z)
• Distillation of Foundation Models for Time-dependent PDEs [21.455872116756492]
  本研究では,事前学習した基礎モデルの予測能力を,コンパクトで効率的な学生に伝達する知識蒸留フレームワークを提案する。 微調整された教師から始めて、TREXは教師のロールアウトを通じて長い合成軌跡を生成することによって、下流の限られたデータを増やす。 結果として得られた学生は、数桁のパラメータ数を減らしながら、教師の精度を一致または超えることができる。
  論文  参考訳（メタデータ） (2026-08-12T11:24:08Z)
• Perceptual Flow Matching for Few-Step Generative Modeling [64.26537634881244]
  知覚フローマッチング(Perceptual Flow Matching)は、フローマッチングモデルにおいて、数ステップ生成のためのフレームワークである。 PFMは、適切な表現空間で教師される際に、高品質な数ステップジェネレータを生成する。
  論文  参考訳（メタデータ） (2026-07-03T17:55:01Z)
• Ada3Drift: Adaptive Training-Time Drifting for One-Step 3D Visuomotor Robotic Manipulation [53.750389076941396]
  拡散に基づくビジュモータポリシーは反復的認知を通じて多モーダルな動作分布をキャプチャするが、その高い推論遅延はリアルタイムロボット制御を制限する。 Ada3Driftは,専門家のデモモードに対して予測された行動を引き付ける訓練時間ドリフト場を学習する。 Ada3Driftは、拡散ベースの代替よりも10倍の関数評価を必要としながら、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-03-12T14:36:53Z)
• Beyond Single-Sample: Reliable Multi-Sample Distillation for Video Understanding [6.759788796474815]
  R-MSD(Reliable Multi-Sample Distillation)は、教師によるサンプリングの分散をモデル化し、蒸留安定性を高めるフレームワークである。 本手法は, 対向蒸留目標に適合する品質認識信号を統合することにより, 知識伝達を最大化しながら教師の雑音を効果的にフィルタする。
  論文  参考訳（メタデータ） (2026-03-12T01:30:37Z)
• Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
  本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。 提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。 SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
  論文  参考訳（メタデータ） (2025-07-24T16:45:05Z)
• From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
  現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。 この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。 我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
  論文  参考訳（メタデータ） (2024-12-10T18:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。