論文の概要: Learning the Autoregressive: Direct Score-Difference Estimation with Amortized Future Credit for Video Distillation
- arxiv url: http://arxiv.org/abs/2610.34092v1
- Date: Sun, 25 Oct 2026 06:44:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.533188
- Title: Learning the Autoregressive: Direct Score-Difference Estimation with Amortized Future Credit for Video Distillation
- Title（参考訳）: 自己回帰の学習:ビデオ蒸留のための記憶的未来クレジットを用いた直接スコア差推定
- Abstract要約: Letaは自動回帰(AR)ビデオ生成のための数ステップの蒸留フレームワークである。
ScoreDeltaとFutureCreditの2つの課題に対処する。
Letaは、VBenchで0.9ポイント、VideoAlignで0.66ポイント、DMDよりも改善されている。
- 参考スコア（独自算出の注目度）: 21.208328160259047
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Few-step distillation for autoregressive (AR) video generation commonly first initializes an AR student and then refines it with distribution matching distillation (DMD). This refinement process faces two challenges. First, although initialization already yields a reasonably capable student, DMD obtains the refinement direction indirectly by estimating the full student score before forming the teacher-student correction. Second, detached-history training prevents the generator from assigning credit to a current chunk for its influence on subsequent chunks. We introduce Leta, a few-step distillation framework that addresses these challenges with ScoreDelta and FutureCredit. ScoreDelta directly estimates the teacher-student correction from denoising residuals, while FutureCredit learns an auxiliary cross-chunk update signal from vector-Jacobian products (VJPs) of next-chunk teacher residuals. Leta combines these signals into a joint teacher-guided update field in a single forward pass during generator updates. Teacher evaluations and credit VJPs are used only for estimator training. For ScoreDelta, we establish population equivalence to score-difference estimation and a conditional approximation advantage under limited capacity in a fixed-feature linear model. In our controlled experiments, Leta improves over DMD by 0.9 points on VBench and 0.66 on VideoAlign. This advantage persists at a higher generator update frequency (a generator-to-estimator update ratio of G:E=1:1), where Leta improves over DMD by 1.6 on VBench and 0.35 on VideoAlign. Project page: https://scdzx.github.io/Leta/.
- Abstract（参考訳）: 自己回帰(AR)ビデオ生成のための数ステップの蒸留は、まずAR学生を初期化し、次に分散マッチング蒸留(DMD)で精製する。
この改良プロセスには2つの課題がある。
第一に、初期化によって既に合理的に有能な学生が得られるが、DMDは教師学生の補正を形成する前に、全学生スコアを推定して間接的に洗練方向を求める。
第二に、切り離された履歴トレーニングは、ジェネレータが現在のチャンクにクレジットを割り当てるのを防ぎ、その後のチャンクに影響を与える。
我々は、これらの課題に対処する数ステップの蒸留フレームワークであるLetaを、ScoreDeltaとFutureCreditで紹介する。
一方、FutureCreditは、次のチャンク教師残基のベクトルジャコビアン製品(VJP)から補助的なクロスチャンク更新信号を学ぶ。
Letaは、これらの信号を、ジェネレータ更新中に単一のフォワードパスで、共同教師誘導更新フィールドに結合する。
教師の評価とクレジットVJPは、推定器の訓練にのみ使用される。
ScoreDeltaの場合、固定機能線形モデルにおいて、スコア差推定と条件近似の優位性を限られた容量で確立する。
制御実験では,VBenchでは0.9ポイント,VideoAlignでは0.66ポイント向上した。
この利点は、より高いジェネレータ更新周波数(G:E=1:1のジェネレータから推定器への更新比)で持続する。
プロジェクトページ: https://scdzx.github.io/Leta/。
関連論文リスト
- Does On-Policy Distillation Need to Complete Every Rollout? [43.87106845001276]
オンライン蒸留(OPD)は、学生が生み出すロールアウトに対するフィードバックを通じて、教師の知識を学生に伝達する。
既存のトランケーション手法は、ロールアウトを早期に停止することで計算を省く。
学生のロールアウトをランダムに切り換えることでOPDを高速化するTruncated On-Policy Distillation (STOPD)を導入する。
これは、Vanilla OPDの期待の勾配和を保ち、SGD、Adam、Muonの1ステップの更新エラー境界を導出することを示す。
論文 参考訳（メタデータ） (2026-10-15T06:22:08Z) - RepForcing: Representation-Space Initialization for Autoregressive Video Distillation [10.400007216659215]
事前訓練されたビデオ拡散モデルを数ステップの自己回帰(AR)ジェネレータに蒸留することは、通常、学生と教師を結合する。
数ステップの因果関係を学習するRepresentation Forcingを提案する。
オードは、表現空間の監督によって行われる。
中間教師の軌道回帰。
我々の4段階のチャンクワイドモデルはVBench TotalとVisionRewardを改良します。
84.04から84.66(+0.62点)、VisionRewardは6.326から10.074(+59.25%)。
causal-ODE-based baseline を報告。
論文 参考訳（メタデータ） (2026-10-14T12:42:14Z) - Simplifying and Improving On-Policy Distillation for Few-Step Diffusion [60.45650436067934]
少ない段階の蒸留は拡散・流動モデルのサンプリングコストを低減させるが、既存の手法では補助的なスコアモデルや特殊なアーキテクチャを必要とすることが多い。
4-NFE生成の基盤として, 簡易なオン・ポリティクス速度回帰法がすでに有効であることを示す。
本稿では,学習者の区間平均予測から局所的な補正を分離する訓練専用残差プロキシであるPivotを紹介する。
論文 参考訳（メタデータ） (2026-10-13T14:35:46Z) - PDMD: Projected Distribution Matching Distillation for Video Diffusion Models [32.89345629335096]
本稿では,予測分布マッチング蒸留PD (MD) を導入し,批判誤差をフィルタする。
PDDは、学生が批判するエンドポイントの残差に平行してDMD更新のコンポーネントを投影する。
PDDはMDDへの1行のコードだけで、余分な損失、ネットワーク、データ、モデルパス、マルチステージトレーニングは不要である。
論文 参考訳（メタデータ） (2026-09-28T17:59:52Z) - d-OPD: Future-Aware On-Policy Distillation for Block Diffusion Language Models [12.972376712003287]
我々は,AR教師の分布を改良し,生徒の目に見える状態に適合する将来的なオンライン蒸留法であるd-OPDを紹介した。
Qwen3の0.6Bから8Bまでのモデル全体で、d-OPDはOPDLMよりも最大4.0ドルポイント向上している。
論文 参考訳（メタデータ） (2026-09-28T15:08:22Z) - DyMD: Preserving Interaction Dynamics through Distribution Matching Distillation in Few-Step Video World Models [25.918853227970885]
分散マッチング蒸留(DMD)は、数ステップのビデオ生成を可能にする。
弱い再雑音は、教師が運動不足のロールアウトの近くに後続に集中させます。
強い動きのロールアウトは、より大きなフェイクスコアのフィッティングエラーを引き起こす傾向がある。
教師の指導と批判を両立させるDyMDフレームワークを提案する。
論文 参考訳（メタデータ） (2026-09-25T14:47:17Z) - Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation [97.02922768457239]
Context-Matched Distillation (CMD) は、教師の監督と、各ターゲットが生成される際に利用可能な情報とを整合させる因果的MDDフレームワークである。
Prefix Corruptionは、このターゲットコンテキストアライメントを維持しながら、トレーニングの初期段階で生成された信頼性の低いプレフィックスを摂動することで、トレーニングを安定化させる。
ショートビデオとロングビデオの両方のベンチマークで、自己回帰手法における最先端の集約性能を実証した。
論文 参考訳（メタデータ） (2026-08-13T15:51:31Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation [57.297118390628384]
分散マッチング蒸留(DMD)は、数ステップのビデオ拡散モデルにおいて、推論を加速するための広く使われているパラダイムである。
textbfScore Gradient Matching Distillation (SGMD)を提案する。
教師の停止段階のフィッシャーを安定した分布マッチングの目的として使用しながら、教師に対して偽スコアを直接最適化することで、偽スコアの視点を採用する。
時間的一貫性を維持しつつ、4段階蒸留モデルの運動力学を大幅に改善する。
論文 参考訳（メタデータ） (2026-05-28T15:50:55Z) - Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。
まず、回帰損失と高価なデータセット構築の必要性を排除します。
第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
論文 参考訳（メタデータ） (2024-05-23T17:59:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。