論文の概要: From Static to Dynamic: On-Policy Distillation from Image to Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2609.34371v1
• Date: Mon, 28 Sep 2026 05:46:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 21:22:29.305566
• Title: From Static to Dynamic: On-Policy Distillation from Image to Video Diffusion Models
• Title（参考訳）: 静的から動的へ:画像からビデオ拡散モデルへのオンライン蒸留
• Abstract要約: 動作保存型画像から映像への潜伏蒸留フレームワークを提案する。 トレーニング済みのビデオダイナミクスを保存しながら、専門的な画像の専門知識を転送する。 我々の手法は、ビデオ教師のPDベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 27.197464404278765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) specializes pretrained video diffusion models through teacher supervision along the student's own generation trajectory. Although large video models are natural teachers, developing specialized video experts can require costly video data and training, while querying them incurs substantially higher latency than querying image experts. More readily available and cheaper to query, image experts offer a cost-effective alternative, particularly for largely temporal-agnostic capabilities such as aesthetics and OCR that admit frame-level supervision. However, heterogeneous image and video latent spaces prevent direct supervision of intermediate student states, while image experts lack cross-frame motion supervision, making temporal consistency vulnerable to frame-level improvements. In this paper, we propose MILD, a Motion-Preserving Image-to-Video Latent Distillation framework that transfers specialized image expertise while preserving pretrained video dynamics. MILD uses a learnable linear connector that aligns student latent states and predicted updates with those of image experts, enabling supervision transfer across heterogeneous latent spaces. We further constrain image-guided corrections around the pretrained student's predictions to preserve video dynamics and incorporate an optical-flow-based motion reward to improve motion quality and temporal consistency. Across specialized image experts and multiple video-student backbones, our method consistently outperforms video-teacher OPD baselines, with further studies demonstrating effective transfer across connector designs and heterogeneous architectures. These results establish image-to-video distillation as an effective route to improving video generation by drawing on the diverse and evolving capabilities of the image-generation ecosystem.
• Abstract（参考訳）: オンライン蒸留(On-policy distillation、OPD)は、教師の指導を通じて、学生自身の世代軌道に沿って、事前訓練されたビデオ拡散モデルを専門とする。 大きなビデオモデルは自然な教師であるが、特殊なビデオエキスパートを開発するには、高価なビデオデータとトレーニングを必要とする。 クェリがより簡単で安価であり、画像の専門家はコスト効率のよい代替手段を提供し、特にフレームレベルの監視を許容する美学やOCRのような時間的認識能力に特化している。 しかし、異質な画像とビデオの潜伏空間は、中間の学生の直接の監督を妨げ、一方、画像の専門家はクロスフレームの動きの監督を欠いているため、時間的一貫性はフレームレベルの改善に弱い。 本稿では,予め訓練した映像力学を保ちながら,専門画像の専門知識を伝達する動き保存型映像潜伏蒸留フレームワークMILDを提案する。 MILDは学習可能な線形コネクタを使用し、学生の潜伏状態と予測更新を画像専門家のものと整合させ、異種潜伏空間間の監督転送を可能にする。 我々は、予め訓練された学生の予測に基づいて画像誘導補正を行い、映像のダイナミクスを保ち、光学フローに基づく動き報酬を取り入れて、動きの質と時間的一貫性を向上させる。 特殊な画像専門家と複数のビデオ学生のバックボーンを対象とし,ビデオ教師のPDベースラインを一貫して上回り,コネクタ設計や異種アーキテクチャ間の効果的な転送を実証した。 これらの結果は、画像生成生態系の多様性と進化能力に基づいて、映像生成を改善する効果的な方法として、画像から映像への蒸留を確立している。

関連論文リスト

• Self-Supervised Learning of Structured Dynamics from Videos [76.23834498074805]
  予め訓練した画像ビジョン変換器の凍結した特徴から、構造化された動き表現を復元できるかどうかを検討する。 本研究では、時間変化の主源を残留力学から明確に分離する構造ダイナミクスモデル(SDM)を提案する。 ProbeMotionのSDMは、カメラモーション、オブジェクトモーション、複合ダイナミクスを備えた合成ビデオと実ビデオにまたがる新しい評価スイートである。
  論文  参考訳（メタデータ） (2026-07-23T17:55:07Z)
• VidPrism: Heterogeneous Mixture of Experts for Image-to-Video Transfer [45.546958131063775]
  本稿では,新しい異種時間混合フレームワークであるVidPrismを提案する。 VidPrismは専門の専門家を配置することで、空間的理解から時間的モデリングまで幅広い役割を担っている。 様々なビデオ認識ベンチマークの実験は、VidPrismが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2026-05-27T09:43:06Z)
• From Static to Dynamic: Exploring Self-supervised Image-to-Video Representation Transfer Learning [79.76998842796515]
  微調整重モジュールは、ビデオ間のセマンティックセマンティックセパビリティを損なう可能性がある。 本稿では,一貫性・セパビリティ・トレードオフ・トランスファー学習フレームワークを提案する。 8つの画像事前学習モデルの実験では、複数のレベルのビデオタスクで一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-03-27T16:56:50Z)
• Show Me: Unifying Instructional Image and Video Generation with Diffusion Models [16.324312147741495]
  画像の操作と映像の予測を可能にする統一的なフレームワークを提案する。 構造的忠実度と時間的コヒーレンスを改善するために,構造的および運動的整合性報酬を導入する。 多様なベンチマーク実験により,本手法は指導画像と映像生成の両方において,専門家モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-11-21T23:24:28Z)
• Let Video Teaches You More: Video-to-Image Knowledge Distillation using DEtection TRansformer for Medical Video Lesion Detection [91.97935118185]
  医用ビデオ病変検出のための画像間知識蒸留法を提案する。 複数フレームのコンテキストを単一のフレームに蒸留することにより、ビデオベースモデルから時間的コンテキストを利用する利点と、画像ベースモデルの推論速度を組み合わせたV2I-DETRを提案する。 V2I-DETRは、画像ベースモデルとしてリアルタイム推論速度(30FPS)を達成しつつ、従来の最先端手法を大きなマージンで上回る。
  論文  参考訳（メタデータ） (2024-08-26T07:17:05Z)
• Time Is MattEr: Temporal Self-supervision for Video Transformers [72.42240984211283]
  我々は、時間的ダイナミクスをよりよく学習するために、ビデオモデルのための単純で効果的な自己教師型タスクを設計する。 ビデオフレームの時間順序を余分な自己監督として学習し、ランダムにシャッフルされたフレームを低信頼出力に強制する。 様々なビデオ行動認識タスクにおいて,本手法の有効性と最先端のビデオ変換器との互換性を実証する。
  論文  参考訳（メタデータ） (2022-07-19T04:44:08Z)
• Long-Short Temporal Contrastive Learning of Video Transformers [62.71874976426988]
  ビデオのみのデータセットにおけるビデオトランスフォーマーの自己教師付き事前トレーニングは、大規模画像データセットでの教師付き事前トレーニングで得られたものよりも、同等以上のアクション認識結果につながる可能性がある。 我々の手法は、長短時空間コントラスト学習(Long-Short Temporal Contrastive Learning)と呼ばれ、ビデオトランスフォーマーが、より長い時間的範囲から捉えた時間的文脈を予測することによって、効果的なクリップレベルの表現を学習することを可能にする。
  論文  参考訳（メタデータ） (2021-06-17T02:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。