論文の概要: Beyond Distribution Matching: Self-Supervised Representation Forcing for Few-Step Video Generation
- arxiv url: http://arxiv.org/abs/2610.35594v1
- Date: Mon, 26 Oct 2026 15:20:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.050908
- Title: Beyond Distribution Matching: Self-Supervised Representation Forcing for Few-Step Video Generation
- Title（参考訳）: 分散マッチングを超えて: 少しステップのビデオ生成のための自己監督型表現強制
- Abstract要約: 本稿では,DMDフレームワークに予測表現損失を組み込むセルフフロー強制(Self Flow Forcing)について,その出力目標を変更することなく紹介する。
この定式化により、生徒は教師の内部表現をより腐敗した入力から予測せざるを得なくなる。
実験により、SF$2$は時間的フレッカリングを効果的に軽減し、空間的忠実度と運動品質の両方を一貫して改善することを示した。
- 参考スコア（独自算出の注目度）: 11.15108183126906
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Few-step distillation is essential for deploying modern video diffusion models. Among existing approaches, Distribution Matching Distillation (DMD) has emerged as a highly promising paradigm by achieving strong output-space fidelity without adversarial training, while remaining flexible across various student architectures. We observe, however, that DMD fundamentally relies on an output-space objective, lacking explicit regularization on the model's internal representations. As the distillation step count aggressively shrinks, this output-only supervision becomes insufficient, causing the distilled student to degrade in both fine-grained spatial structures and coherent temporal dynamics. To address this limitation, we introduce Self Flow Forcing (SF$^2$), which incorporates a predictive representation loss into the DMD framework without altering its output objective. By providing the student and an Exponential Moving Average (EMA) teacher with heterogeneous noise levels, we establish an information asymmetry. This formulation forces the student to predict the teacher's internal representations from a more corrupted input, effectively integrating self-supervised representation alignment into distribution matching. Extensive experiments demonstrate that SF$^2$ effectively mitigates temporal flickering and consistently improves both spatial fidelity and motion quality. Furthermore, the proposed mechanism is architecture-agnostic - seamlessly supporting both bidirectional and causal models - and requires no external feature extractors, introducing minimal computational overhead.
- Abstract（参考訳）: 近代的なビデオ拡散モデルの展開には, 少ない段階の蒸留が不可欠である。
従来のアプローチの中で,DMD(Distributed Matching Distillation)は,様々な学生アーキテクチャにおいて柔軟性を維持しつつ,対角訓練を伴わずに強い出力空間の忠実性を達成し,極めて有望なパラダイムとして現れてきた。
しかし、DMDは基本的に出力空間の目的に依存しており、モデルの内部表現の明示的な正規化が欠如している。
蒸留工程が積極的に縮小するにつれて、この出力のみの監督は不十分となり、蒸留学生は微細な空間構造とコヒーレント時間力学の両方で劣化する。
この制限に対処するために、予測表現損失をDMDフレームワークに組み込むセルフフローフォーシング(SF$^2$)を導入する。
学生とEMA(Exponential moving Average)の教師に異種ノイズレベルを提供することで,情報非対称性を確立する。
この定式化は、教師の内部表現をより腐敗した入力から予測させ、効果的に自己監督的表現アライメントを分散マッチングに統合する。
拡張実験により、SF$^2$は時間的フレッカリングを効果的に軽減し、空間的忠実度と運動品質の両方を一貫して改善することを示した。
さらに、提案するメカニズムはアーキテクチャ非依存であり、双方向モデルと因果モデルの両方をシームレスにサポートする。
関連論文リスト
- Enhancing Autoregressive Video Generation via Representation Adversarial Distillation [26.854311556030655]
本稿では, DMD を実データで補完する表現空間逆蒸留フレームワーク Radian を紹介する。
トレーニング中、Radianは自己回帰的な学生ロールアウトからフレームを疎結合にデコードし、マルチレベルな視覚表現を抽出し、軽量な識別器ヘッドを適用した。
Wan2.1-1.3Bの実験は、4段階のチャンクワイド、1段階のフレームワイド、1分間の自己回帰生成をカバーしている。
論文 参考訳（メタデータ） (2026-09-30T16:09:12Z) - SWARD: Stochastic Window-Attention-Based Relational Distillation for Cross-Architectural Semantic Segmentation [1.1617094867403568]
大規模視覚基盤モデルは、セマンティックセグメンテーションのような密集した予測タスクに大きな利益をもたらした。
現代の基礎教師は、主にグローバルコンテキストを符号化するトランスフォーマーベースであるのに対し、効率的な学生は、通常、局所的に偏った受容場を持つ畳み込みネットワークである。
既存の蒸留法は主に構造的均質性を前提としており、直接的特徴模倣に依存しており、この表現的ギャップを埋めることができない。
本稿では,このギャップを2つの相補的なメカニズムで解決する知識蒸留フレームワークSWARDを提案する。
論文 参考訳（メタデータ） (2026-05-31T04:29:31Z) - DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである
本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2026-05-14T16:49:09Z) - Continuous-Time Distribution Matching for Few-Step Diffusion Distillation [57.28746398500951]
本稿では,CDM(Continuous-Time Distribution Matching)を導入し,DMDフレームワークを個別アンカーから連続最適化へ移行する。
まず、固定離散スケジュールをランダム長の動的連続スケジュールに置き換える。
第二に、学生の速度場を介して外挿された潜伏者に対してアクティブな軌道外マッチングを行う連続時間アライメント目的を提案する。
論文 参考訳（メタデータ） (2026-05-07T14:56:39Z) - Decoupled DMD: CFG Augmentation as the Spear, Distribution Matching as the Shield [54.328202401611264]
拡散モデル蒸留は、効率的な数段・単段発生装置を作るための強力な技術として登場した。
数段蒸留の原動力は分布一致ではなく,これまで見過ごされていた成分であるCFG増量 (CFG Augmentation, CA) であることを示す。
本稿では, エンジンとレギュレータのノイズスケジュールを分離するなど, 蒸留工程の原理的な修正を提案し, 更なる性能向上を実現した。
論文 参考訳（メタデータ） (2025-11-27T18:24:28Z) - Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。
シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。
マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文 参考訳（メタデータ） (2025-10-09T04:48:49Z) - Hybrid Autoregressive-Diffusion Model for Real-Time Sign Language Production [0.0]
我々は手話生成のための自己回帰モデルと拡散モデルを組み合わせたハイブリッドアプローチを開発する。
微粒な体の動きを捉えるため,異なる音節から細かな特徴を別々に抽出するマルチスケール・ポース表現モジュールを設計した。
ポーズ生成過程を動的に導くために,共同レベルの信頼度スコアを利用する信頼度対応型因果注意機構を導入する。
論文 参考訳（メタデータ） (2025-07-12T01:34:50Z) - Restoration Score Distillation: From Corrupted Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
Score Distillation (DSD) の原理的一般化である textitRestoration Score Distillation (RSD) を提案する。
RSDは、ぼやけた画像、不完全画像、低解像度画像など、広範囲の汚職タイプに対応している。
自然と科学の両方のデータセットの様々な復元作業において、教師モデルを一貫して上回っている。
論文 参考訳（メタデータ） (2025-05-19T17:21:03Z) - DDAE++: Enhancing Diffusion Models Towards Unified Generative and Discriminative Learning [53.27049077100897]
生成前訓練は差別的な表現をもたらし、統一された視覚生成と理解への道を開くことが示されている。
この研究は自己条件付けを導入し、ネットワークに固有のリッチなセマンティクスを内部的に活用し、独自のデコード層をガイドする。
提案手法は、FIDの生成と認識の精度を1%の計算オーバーヘッドで向上させ、多様な拡散アーキテクチャで一般化する。
論文 参考訳（メタデータ） (2025-05-16T08:47:16Z) - Disentangling Disentangled Representations: Towards Improved Latent Units via Diffusion Models [3.1923251959845214]
Disentangled Expression Learning (DRL) は、観測されたデータをコア固有の要素に分解して、データの深い理解を目指している。
近年,教師なしDRLにおける拡散モデル(DM)の利用について,限定的な調査が行われている。
より解釈可能なDRLに対して属性分離型潜在ユニットを強制する動的ガウスアンチョリングを提案する。
また、よりDRLフレンドリーなU-Netを容易に修正できるスキップドロップアウト手法を提案する。
論文 参考訳（メタデータ） (2024-10-31T11:05:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。