論文の概要: A First-Step Bias Restores Lost Diversity in Diffusion Model Distillation

• arxiv url: http://arxiv.org/abs/2610.37110v1
• Date: Tue, 27 Oct 2026 12:08:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.581878
• Title: A First-Step Bias Restores Lost Diversity in Diffusion Model Distillation
• Title（参考訳）: 拡散モデル蒸留における損失多様性を回復する第1ステップバイアス
• Abstract要約: 分散マッチング蒸留は、数ステップで高品質な画像生成を可能にする。 emphReSeedは、最初の学生ステップにのみシード応答バイアスアダプタを追加する、蒸留後の方法である。 競争力のある視覚的品質を維持しながら、DINOの多様性を48.3%向上させる。
• 参考スコア（独自算出の注目度）: 9.427725087581463
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distribution-matching distillation enables high-quality image generation in only a few denoising steps. However, distilled student models often map different initial noise samples to similar outputs under the same prompt. To locate where diversity is lost, we compare the teacher and student along the sampling trajectory. The largest measured reduction in the response to different initial noises occurs during the first, high-noise step. When we replace the first step with the teacher's corresponding trajectory and leave the final three student steps unchanged, most of the output diversity returns. This suggests that the first step is a key point for restoring diversity. Motivated by this finding, we introduce \emph{ReSeed}, a post-distillation method that adds a seed-response bias adapter only to the first student step and aligns its velocity with the teacher's first-interval secant velocity. All student weights and later denoising steps remain unchanged. We evaluate ReSeed on three text-to-image models (SD3-Medium, SD3.5-Medium, and FLUX.1-dev) and one text-to-video model (Wan2.1-T2V-1.3B). For a distilled 4-step FLUX.1-dev model, \emph{ReSeed} requires only $0.00196\%$ additional trainable parameters relative to the base model and is trained on 8,000 prompt--noise pairs, while keeping the distilled student fully frozen and requiring no target images, perceptual losses, or adversarial losses. It improves DINO diversity by $48.3\%$ while maintaining competitive visual quality. These results show that substantial diversity can be recovered through a lightweight, data-efficient tuning of only the first denoising step, without finetuning the full student model.
• Abstract（参考訳）: 分散マッチング蒸留は、数ステップで高品質な画像生成を可能にする。 しかし、蒸留された学生モデルは、しばしば異なる初期ノイズサンプルを同じプロンプトの下で同様の出力にマッピングする。 多様性が失われる場所を特定するために,教師と学生をサンプリング軌道に沿って比較する。 異なる初期雑音に対する応答における最大の測定値の低減は、第1の高雑音ステップ中に発生する。 最初のステップを教師の足跡に置き換えて、最後の3ステップをそのままにしておけば、出力の多様性の大部分が返ってくる。 これは、最初のステップが多様性を回復するための重要なポイントであることを示している。 そこで本研究では,第1の学生ステップのみにシード応答バイアスアダプタを付加し,その速度を教師の最初のインターバルセカント速度と整合させる蒸留法である「emph{ReSeed}」を紹介した。 すべての学生の体重とその後のデノベーションステップは変わらぬままである。 本研究では,3つのテキスト・ツー・イメージモデル(SD3-Medium,SD3.5-Medium,FLUX.1-dev)と1つのテキスト・ツー・ビデオモデル(Wan2.1-T2V-1.3B)でReSeedを評価する。 蒸留された4ステップのFLUX.1-devモデルでは、emph{ReSeed} はベースモデルに対するトレーニング可能なパラメータを 0.00196\% だけ必要としており、8000のプロンプト-ノイズペアで訓練されている。 競争力のある視覚的品質を維持しながら、DINOの多様性を48.3 %$で改善する。 これらの結果は、学生モデル全体を微調整することなく、第1段階のみの軽量でデータ効率のチューニングにより、かなりの多様性を回復できることを示している。

関連論文リスト

• Simplifying and Improving On-Policy Distillation for Few-Step Diffusion [60.45650436067934]
  少ない段階の蒸留は拡散・流動モデルのサンプリングコストを低減させるが、既存の手法では補助的なスコアモデルや特殊なアーキテクチャを必要とすることが多い。 4-NFE生成の基盤として, 簡易なオン・ポリティクス速度回帰法がすでに有効であることを示す。 本稿では,学習者の区間平均予測から局所的な補正を分離する訓練専用残差プロキシであるPivotを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T14:35:46Z)
• High-Fidelity Two-Step Image Generation via Teacher-Aligned End-to-End Distillation [66.19462276967869]
  4-8段階の拡散蒸留は徐々に成熟していったが、さらに2段階に推し進めるのは難しい。 8ステップのZ画像ターボ教師から抽出した高品質な2ステップ画像生成モデルであるZ画像Turbo++を紹介する。
  論文  参考訳（メタデータ） (2026-06-10T18:24:50Z)
• Trajectory as the Teacher: Few-Step Discrete Flow Matching via Energy-Navigated Distillation [8.736935937857192]
  Trajectory-Shaped Discrete Flow Matchingは、ブラインドジャンプをガイドナビゲーションに置き換える。 170M-024言語モデリングでは、8ステップの形状の学生は1,024ステップの教師よりも32%低い難易度を達成する。
  論文  参考訳（メタデータ） (2026-05-08T15:58:22Z)
• 1.x-Distill: Breaking the Diversity, Quality, and Efficiency Barrier in Distribution Matching Distillation [22.287956787775872]
  1.x-Distillは、以前の数ステップ法の整数ステップ制約を破る最初の分数ステップ蒸留フレームワークである。 その結果,1.x-Distillは従来の数段階法を上回り,28x2 NFEサンプリングよりも最大33倍の速度で1.67および1.74有効NFEの精度と多様性を達成できた。
  論文  参考訳（メタデータ） (2026-04-05T08:30:35Z)
• Unleashing the Power of One-Step Diffusion based Image Super-Resolution via a Large-Scale Diffusion Discriminator [81.81748032199813]
  拡散モデルは実世界の超解像(Real-ISR)に優れた性能を示した SRのための大規模textbfDiscriminator を用いた One-Step textbfDiffusion モデルを提案する。 我々の判別器は、潜伏空間における拡散モデルの任意の時間ステップからノイズのある特徴を抽出することができる。
  論文  参考訳（メタデータ） (2024-10-05T16:41:36Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
  拡散モデルに基づく超解像(SR)法は有望な結果を示す。 しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。 本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T16:21:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。