論文の概要: Parametric Trajectory Distillation for Few-Step Video Generation
- arxiv url: http://arxiv.org/abs/2610.11498v1
- Date: Thu, 08 Oct 2026 08:38:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.898237
- Title: Parametric Trajectory Distillation for Few-Step Video Generation
- Title(参考訳): 高速ビデオ生成のためのパラメトリックトラジェクトリ蒸留
- Abstract要約: パラメトリックトラジェクトリ蒸留(PTD)は、学習者が背骨の予測能力に適応し、運動と多様性を維持するように設計されている。
Wan2.Bでは、4段階のPTDがトラジェクトリー蒸留技術の新しい状態を設定し、PDDよりも動的品質と自然性を著しく改善した。
33BオーディオビデオのMiniMax-H3では、LoRAで訓練されたPTDは、最先端のLightX2Vターボの多様性と自然性を大幅に向上させる。
- 参考スコア(独自算出の注目度): 90.97081462839903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video diffusion and flow models require many sequential evaluations, making generation computationally expensive. Few-step distillation reduces this cost but poses a capacity allocation problem: a student must match the teacher's iterative generation with far less sequential computation. Existing trajectory methods ask the student to reproduce teacher transitions that are highly curved at high noise, which can exceed its capacity and degrade fine detail. We introduce Parametric Trajectory Distillation (PTD), which lets the student parameterize teacher trajectory segments as polynomials and learn from teacher guidance along its own predicted path. PTD is designed to let the learned curvature adapt to the backbone's predictive capacity, preserving motion and diversity. The curvature head is used only in training; inference keeps the original backbone architecture. On Wan2.1-14B, four-step PTD sets a new state of the art for trajectory distillation, significantly improving dynamic quality and naturalness over PDD, the best-performing trajectory-only method on this model, under the same training setting. On the 33B audio-video MiniMax-H3, LoRA-trained PTD significantly improves diversity and naturalness over the state-of-the-art LightX2V Turbo. Blinded human votes give PTD 55.1% and 63.4% preference shares against PDD and LightX2V Turbo. Project page: https://alan-lanfeng.github.io/PTD/.
- Abstract(参考訳): ビデオ拡散とフローモデルには多くのシーケンシャルな評価が必要であり、生成に計算コストがかかる。
学生は教師の反復生成をはるかに少ないシーケンシャルな計算で一致させなければならない。
既存の軌跡法では、生徒に高い騒音で湾曲した教師の遷移を再現するよう求めている。
本稿では,教師の軌跡セグメントを多項式としてパラメータ化し,教師指導から教師の予測経路を学習するParametric Trajectory Distillation(PTD)を提案する。
PTDは学習した曲率を背骨の予測能力に適応させ、運動と多様性を維持するように設計されている。
曲率ヘッドはトレーニングでのみ使用され、推論は元のバックボーンアーキテクチャを保持する。
Wan2.1-14Bでは、4段階のPTDがトラジェクトリー蒸留の新たな最先端を定め、PDDよりも動的品質と自然性を著しく改善した。
33BオーディオビデオのMiniMax-H3では、LoRAで訓練されたPTDは、最先端のLightX2Vターボの多様性と自然性を大幅に向上させる。
盲票はPTD 55.1% と 63.4% を PDD と LightX2V Turbo に対して与えている。
プロジェクトページ: https://alan-lanfeng.github.io/PTD/。
関連論文リスト
- Interactive-Policy Distillation with Bidirectional Propose-and-Verify [15.832994594431776]
インタラクティブ・ポリシィ蒸留(IPD)は、学生のロールアウトに適応的な教師の介入を適用する。
IPDは、より高性能な蒸留法であるだけでなく、オン・ポリティズムとオフ・ポリティズムのパラダイムの間の統一されたブリッジでもある。
数学推論タスクと複数の教師と学生のモデルペアにおいて、PDで訓練された学生モデルは、PDで訓練された生徒よりも優れているだけでなく、より高いデータ効率を示す。
論文 参考訳(メタデータ) (2026-09-29T02:32:39Z) - Understanding the Synergy between SFT, RLVR, and OPD in LLM Post-Training [45.917699985459215]
現代のポストトレーニングは、教師付き微調整(SFT)、検証可能な報酬付き強化学習(RLVR)、オンライン蒸留(OPD)で構成されている。
この構成が連続的であることを示す。現在のモデルを改善するステージは、次のステージの効率を損なう可能性がある。
この結果から,各学習段階は追加する能力だけでなく,次の段階に生成する学習インタフェースについても選択すべきであることが示唆された。
論文 参考訳(メタデータ) (2026-09-25T18:39:32Z) - When Teacher Guidance Misleads: Reward-Aligned On-Policy Distillation [21.86522736658343]
本稿では, 教師指導の誤りを軽減するために, Reward-Aligned On-Policy Distillation (RA-OPD)を提案する。
RA-OPDは、さらなる計算コストを必要とせずに、より信頼性の高い軌道を選択し、生徒モデルの性能を向上させる。
我々は,Qwen3ファミリーとDeepSeek-R1ファミリーのモデルを用いて,数学とコードベンチマークのRA-OPDを評価する。
論文 参考訳(メタデータ) (2026-08-28T06:05:50Z) - Trajectory as the Teacher: Few-Step Discrete Flow Matching via Energy-Navigated Distillation [8.736935937857192]
Trajectory-Shaped Discrete Flow Matchingは、ブラインドジャンプをガイドナビゲーションに置き換える。
170M-024言語モデリングでは、8ステップの形状の学生は1,024ステップの教師よりも32%低い難易度を達成する。
論文 参考訳(メタデータ) (2026-05-08T15:58:22Z) - Deep Reprogramming Distillation for Medical Foundation Models [74.76894329393512]
本稿では,一般適応問題に対処するために,Deep Re programming Distillation (DRD) と呼ばれる新しいフレームワークを提案する。
具体的には、DRDは、一方が事前学習と下流シナリオ間のドメインとタスクの相違を克服する、新しい再プログラミングモジュールを導入している。
異なる訓練条件下でのばらつきを軽減するため, 堅牢な知識伝達を促進するために, 中心核アライメント (CKA) 蒸留法を設計する。
論文 参考訳(メタデータ) (2026-05-06T03:22:39Z) - Lightning OPD: Efficient Post-Training for Large Reasoning Models with Offline On-Policy Distillation [7.2992280064983825]
オンライン蒸留(OPD)は、大規模言語モデルの効率的な後訓練パラダイムとして登場した。
標準PDは、トレーニングを通してライブの教師推論サーバーを必要とし、その結果、かなりのインフラストラクチャーオーバーヘッドを発生させる。
我々は,教師の対数確率をSFTロールアウトにプリ計算することで教師の一貫性を強制するオフラインのオンライン蒸留フレームワークであるLightning OPDを提案する。
論文 参考訳(メタデータ) (2026-04-14T17:44:50Z) - ArcFlow: Unleashing 2-Step Text-to-Image Generation via High-Precision Non-Linear Flow Distillation [87.54456066636811]
拡散モデルは、シーケンシャルなデノナイジングステップに依存するため、かなりの推論コストに悩まされる。
ArcFlowは数段階の蒸留フレームワークであり、事前訓練された教師の軌跡を近似するために、非線形フロー軌跡を明示的に用いている。
2つのNFEで40倍のスピードアップを実現している。
論文 参考訳(メタデータ) (2026-02-09T18:56:14Z) - DOLLAR: Few-Step Video Generation via Distillation and Latent Reward Optimization [50.30051934609654]
本稿では,数段階のビデオ生成を実現するため,変量点蒸留と整合蒸留を組み合わせた蒸留法を提案する。
提案手法は10秒ビデオ(12FPSで128フレーム)の複数ステップ生成における最先端性能を示す。
1段階の蒸留により、教師モデルの拡散サンプリングを最大278.6倍加速し、ほぼリアルタイムで生成できる。
論文 参考訳(メタデータ) (2024-12-20T09:07:36Z) - From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。
この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。
我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
論文 参考訳(メタデータ) (2024-12-10T18:59:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。