論文の概要: Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation
- arxiv url: http://arxiv.org/abs/2608.13391v1
- Date: Thu, 13 Aug 2026 15:51:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.583638
- Title: Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation
- Title（参考訳）: 文脈整合蒸留 : 自己回帰型ビデオ蒸留における教師の因果性
- Abstract要約: Context-Matched Distillation (CMD) は、教師の監督と、各ターゲットが生成される際に利用可能な情報とを整合させる因果的MDDフレームワークである。
Prefix Corruptionは、このターゲットコンテキストアライメントを維持しながら、トレーニングの初期段階で生成された信頼性の低いプレフィックスを摂動することで、トレーニングを安定化させる。
ショートビデオとロングビデオの両方のベンチマークで、自己回帰手法における最先端の集約性能を実証した。
- 参考スコア（独自算出の注目度）: 97.02922768457239
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive autoregressive video generation demands both low-latency rollouts and precise online control. Few-step distillation accelerates generation by reducing denoising steps, while online control imposes a causal constraint: frames and blocks should depend on history and controls available during generation. Existing video distribution matching distillation (DMD) pipelines, however, often supervise causal few-step students using bidirectional teachers that score complete clips. The score for a target can therefore depend on future frames and controls that were unavailable when the student generated it, misaligning teacher supervision with the student's causal information set. We introduce Context-Matched Distillation (CMD), a causal DMD framework that aligns teacher supervision with the information available when each target is generated. CMD replaces bidirectional full-clip scoring with a causal teacher that evaluates each target without access to future frames or controls. The same causal teacher initializes the few-step student, establishing a consistent causal formulation across teacher training, student distillation, and inference. Beyond aligning the temporal information boundary, Prefix Scoring matches supervision to the student's realized rollout context by evaluating each target under the cached student-generated prefix that produced it. Prefix Corruption further stabilizes training by perturbing unreliable prefixes produced early in training while preserving this target-context alignment. With a simple causal formulation, CMD naturally extends to frame-wise and chunk-wise generation, long video distillation, and camera-conditioned distillation. Experiments demonstrate state-of-the-art aggregate performance among autoregressive methods on both short- and long-video benchmarks, together with substantially improved adherence to time-varying camera controls.
- Abstract（参考訳）: インタラクティブな自動回帰ビデオ生成は、低レイテンシのロールアウトと正確なオンライン制御の両方を要求する。
オンライン制御は因果的制約を課し、フレームとブロックは生成時に利用可能な履歴と制御に依存しなければならない。
しかしながら、既存のビデオ配信マッチング蒸留(DMD)パイプラインは、完全なクリップを採点する双方向の教師を用いて、因果的な数ステップの学生を監督することが多い。
対象のスコアは、学生の因果情報セットと教師の監督を間違えて、学生が生成した時に利用できない将来のフレームやコントロールに依存することができる。
本稿では,教師の指導と,各目標が生成される際の情報とを一致させる因果的MDDフレームワークであるContext-Matched Distillation (CMD)を紹介する。
CMDは双方向のフルクリップスコアを、将来のフレームやコントロールにアクセスせずに各ターゲットを評価する因果的教師に置き換える。
同じ因果的教師が数段階の学生を初期化し、教師の訓練、学生の蒸留、推論に一貫した因果的定式化を確立する。
時間情報のバウンダリの調整に加えて、Prefix Scoringは、それを生成したキャッシュされた学生生成プレフィックスの下で各ターゲットを評価することによって、学生が実現したロールアウトコンテキストの監督にマッチする。
Prefix Corruptionは、このターゲットコンテキストアライメントを維持しながら、トレーニングの初期段階で生成された信頼性の低いプレフィックスを摂動することで、トレーニングをさらに安定化させる。
単純な因果関係の定式化により、CMDは自然にフレームワイドおよびチャンクワイド生成、長いビデオ蒸留、カメラコンディショニング蒸留にまで拡張される。
ショートビデオとロングビデオの両方のベンチマークで、自動回帰手法における最先端の集約性能と、時間変化のカメラ制御への付着性を大幅に改善した。
関連論文リスト
- OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models [39.15861870749305]
OPTD, On-Policy Transition Distillation with consistency-guided Adaptive compression。
これは、数段階の学生自身の軌跡から部分的な状態をサンプリングし、凍結した質問のみの教師を使用して結果に整合した将来の候補者を特定し、現状の信頼でそれらを注文する。
品質効率のトレードオフを継続的に改善し、評価された数ステップのベースラインの中で、全体的な品質に制約のあるAUPを最強に達成します。
論文 参考訳（メタデータ） (2026-08-03T23:09:43Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。
DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
論文 参考訳（メタデータ） (2026-07-02T17:58:29Z) - On-Policy Adversarial Flow Distillation for Autoregressive Video Generation [34.70887671905755]
逆流蒸留(英: Adversarial Flow Distillation、AFD)は、異種ブラックボックスビデオ蒸留のためのオンラインフレームワークである。
AFDは教師に問い合わせ、同じプロンプトで現在の生徒をロールアウトする。
AFDは、教師のスコア、潜伏者、軌道の騒音、ステップアライメント、逆鎖強化学習を必要とせず、高密度な速度場監視を提供する。
論文 参考訳（メタデータ） (2026-05-25T17:58:12Z) - Distribution Corrected Offline Data Distillation for Large Language Models [8.778789513095907]
強力な大規模言語モデルから小さなものへの推論トレースを蒸留することは、リソース制約された設定におけるインテリジェンスを改善するための有望な方法である。
教師が生成したトレースからのオフライン蒸留は、高品質でサンプル効率の高い監視を提供するが、分散的ドリフトに悩まされる。
そこで本研究では,教師の分散ドリフトを補正しつつ,教師が生成するオフラインデータの効率性と監督品質を保ちつつ,教師の分散ドリフトを補正する原理的オフライン推論蒸留フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-13T19:47:31Z) - Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning [2.9029480541171107]
そこで我々は, 自己蒸留を推論するための効果的な新しい軸として, 適応型教師曝露を提案する。
適応型自己蒸留(ATESD)は, 競争力のある自己蒸留とRLベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-05-12T03:15:58Z) - Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。
トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-05-08T14:38:53Z) - Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。
我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。
実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2026-04-21T01:22:35Z) - BAgger: Backwards Aggregation for Mitigating Drift in Autoregressive Video Diffusion Models [50.986189632485285]
モデル自身のロールアウトから補正軌道を構築する自己教師型スキームであるバックワードアグリゲーション(BAgger)を導入する。
数段階の蒸留と分配整合損失に依存する従来のアプローチとは異なり、BAggerは標準的なスコアやフローマッチングの目的を持つ列車である。
因果拡散変換器でBAggerをインスタンス化し、テキスト・ツー・ビデオ、ビデオ・エクステンション、マルチプロンプト・ジェネレーションで評価する。
論文 参考訳（メタデータ） (2025-12-12T23:02:02Z) - Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。
UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2025-04-19T14:08:56Z) - OD-DETR: Online Distillation for Stabilizing Training of Detection Transformer [14.714768026997534]
本稿では,オンライン蒸留によるDETRトレーニングの安定化を目的とする。
指数移動平均(EMA)で蓄積した教師モデルを利用する。
実験の結果,提案したOD-DETRはトレーニングの安定化に成功し,パラメータを増やすことなく性能を大幅に向上することがわかった。
論文 参考訳（メタデータ） (2024-06-09T14:07:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。