論文の概要: Restoring Diversity in Distilled Image and Video Generators by Probing Activations
- arxiv url: http://arxiv.org/abs/2611.18550v1
- Date: Fri, 13 Nov 2026 18:55:59 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:32:05.222159
- Title: Restoring Diversity in Distilled Image and Video Generators by Probing Activations
- Title(参考訳): 放射能測定による蒸留画像・ビデオ生成装置の多様性の回復
- Abstract要約: 拡散モデルを数段階の学生モデルに蒸留することでサンプリング遅延を大幅に減少させるが、重大な多様性の崩壊を引き起こす。
蒸留した学生は、教師に匹敵する総アクティベーションのばらつきを保ちながら、かなり少ない方向に集中していることがわかった。
本稿では,不在な分散方向を再表現するためにReDiverseを提案する。
- 参考スコア(独自算出の注目度): 12.00727392531738
- License:
- Abstract: Distilling diffusion models into few-step student models substantially reduces sampling latency, but induces severe diversity collapse: samples generated from different random seeds show minimal variation. In this work, we investigate the root cause of this failure by probing the internal representations of student models relative to their teachers. We find that distilled students maintain total activation variance comparable to their teachers, but concentrate it into substantially fewer directions. This directional collapse is localized to an identifiable intermediate block at the initial denoising step. Consequently, diversity collapse stems from a misallocation of activation variance rather than an inherent loss of generative capacity. Guided by this finding, we propose ReDiverse to reinstate the missing variance directions. At training time, ReDiverse-FT fine-tunes a lightweight adapter that regresses student activations onto the teacher's, reviving the teacher's feature variance characteristic. At inference time, ReDiverse-TF introduces a training-free mechanism that steers activations along precomputed teacher principal directions. Across image and video distillation benchmarks, ReDiverse consistently restores sample diversity while preserving generation quality, further supported by the user study.
- Abstract(参考訳): 拡散モデルを数段階の学生モデルに蒸留するとサンプリングの遅延が大幅に減少するが、異なるランダムシードから生成されたサンプルは最小限のばらつきを示す。
本研究では,学生モデルの内部表現を教師に対して探索することで,この失敗の根本原因を解明する。
蒸留した学生は、教師に匹敵する総アクティベーションのばらつきを保ちながら、かなり少ない方向に集中していることがわかった。
この方向崩壊は、初期復調段階において識別可能な中間ブロックに局所化される。
結果として、多様性の崩壊は、生成能力の固有の損失ではなく、活性化のばらつきの誤った配置に起因する。
この発見によって導かれたReDiverseは、欠落した分散方向を再表現する。
トレーニング時にReDiverse-FTは、生徒のアクティベーションを教師の手に戻すための軽量アダプターを微調整し、教師の特徴分散特性を復活させる。
推論時にReDiverse-TFは、事前計算された教師の主方向に沿ってアクティベーションを操る訓練不要のメカニズムを導入する。
画像とビデオの蒸留ベンチマーク全体を通じて、ReDiverseは、生成品質を維持しながらサンプルの多様性を継続的に復元し、さらにユーザスタディでサポートしている。
関連論文リスト
- Simplifying and Improving On-Policy Distillation for Few-Step Diffusion [60.45650436067934]
少ない段階の蒸留は拡散・流動モデルのサンプリングコストを低減させるが、既存の手法では補助的なスコアモデルや特殊なアーキテクチャを必要とすることが多い。
4-NFE生成の基盤として, 簡易なオン・ポリティクス速度回帰法がすでに有効であることを示す。
本稿では,学習者の区間平均予測から局所的な補正を分離する訓練専用残差プロキシであるPivotを紹介する。
論文 参考訳(メタデータ) (2026-10-13T14:35:46Z) - TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。
しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。
凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。
MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
論文 参考訳(メタデータ) (2026-08-18T23:40:28Z) - Beyond Trajectory Matching: Reflow with Marginal Distribution Alignment [7.13416637929041]
拡散および連続フロー生成モデルは高品質な生成を実現する。
リフローに基づく蒸留は、教師のODE軌道を単純化し、生徒モデルが教師の移動を少ないステップで近似できるようにする。
本稿では,各蒸留間隔の終点において,学生が引き起こした限界値とそれに対応する教師の限界値との差分をペナライズする境界アライメント正規化器を提案する。
論文 参考訳(メタデータ) (2026-06-28T09:19:44Z) - Why Are DMD Students Lazy? Understanding the Copying Behavior in Few-Step Distillation [66.15462638744619]
分散整合蒸留 (DMD) は、全てのスケールでノイズ分布を整列することにより、事前学習した拡散モデルを効率的な数ステップ生成器に圧縮する。
意外なことに、高次元環境では、蒸留された学生が、教師のオリジナルのノイズデータペアリングを自然に再現することが、私たちがコピーと呼ぶ現象であることがわかった。
論文 参考訳(メタデータ) (2026-06-01T13:30:19Z) - How Is Uncertainty Propagated in Knowledge Distillation? [7.132728938560163]
3つの代表的なモデルクラスにわたる知識蒸留を通して不確実性がいかに伝播するかを示す。
複数の教師の回答を平均化する分散対応戦略と,教師と学生の見積を組み合わせた分散重み付けという2つの戦略を導入する。
これらの結果から,教師の不確実性を反映した分散型蒸留により,より安定した学生が生まれることが示唆された。
論文 参考訳(メタデータ) (2026-01-26T19:18:50Z) - ReDDiT: Rehashing Noise for Discrete Visual Generation [53.813067778912]
離散拡散変圧器(終端型ReDDiT)のためのリハッシングノイズアプローチを提案する。
我々は、吸収状態を拡張し、離散拡散モデルの表現能力を向上させることを目的としている。
実験の結果、ReDDiTはベースラインモデルよりも大幅に優れていた。
論文 参考訳(メタデータ) (2025-05-26T08:17:20Z) - Distribution Backtracking Builds A Faster Convergence Trajectory for Diffusion Distillation [19.88187051373436]
本研究では,拡散モデルのサンプリング速度を高速化する分散バックトラック蒸留(DisBack)を提案する。
DisBackは既存の蒸留法よりも高速で収束性が高く、ImageNet 64x64データセットのFIDスコアは1.38である。
論文 参考訳(メタデータ) (2024-08-28T17:58:17Z) - Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
LLM蒸留における多粒性セマンティックリビジョン法を提案する。
シーケンスレベルでは、シーケンス修正と再生戦略を提案する。
トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。
スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
論文 参考訳(メタデータ) (2024-07-14T03:51:49Z) - Teacher's pet: understanding and mitigating biases in distillation [61.44867470297283]
いくつかの研究により、蒸留によって学生の全体的なパフォーマンスが著しく向上することが示されている。
しかし、これらのゲインはすべてのデータサブグループに均一なのでしょうか?
蒸留が特定の部分群の性能に悪影響を及ぼすことを示す。
信頼性の低いサブグループに対して,教師の影響を和らげる手法を提案する。
論文 参考訳(メタデータ) (2021-06-19T13:06:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。