論文の概要: Visualizing Distribution Coverage in Generative Diffusion Models

• arxiv url: http://arxiv.org/abs/2609.38853v1
• Date: Wed, 30 Sep 2026 03:11:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.067175
• Title: Visualizing Distribution Coverage in Generative Diffusion Models
• Title（参考訳）: 生成拡散モデルにおける分布被覆の可視化
• Abstract要約: 拡散蒸留はサンプリングを加速するために広く採用されており、結果として得られる数段階のモデルが、世代ごとの多段階の教師と一致するか、さらに上回っていると広く信じられている。 textbfpass@$mathbfk$を使って、蒸留されたモデルが教師に本当に合うかどうかを再検討する。
• 参考スコア（独自算出の注目度）: 55.20970915558567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion distillation is widely adopted to accelerate sampling, and the resulting few-step models are broadly believed to match or even surpass their multi-step teachers in generation. However, standard evaluations such as GenEval2 typically draw only one sample per prompt, so improved scores may fail to reveal losses in distribution coverage. We therefore revisit whether distilled models truly match their teachers beyond single-draw performance using \textbf{pass@$\mathbf{k}$}, which measures the probability that at least one of $k$ independent samples satisfies a quality criterion. At $k{=}1$, pass@$k$ reduces to standard single-draw evaluation. As $k$ grows, the curve reveals whether additional draws find genuinely different successes or merely revisit the same modes, directly exposing how broadly a model covers the space of valid outputs. We first show that classifier-free guidance (CFG), whose quality--coverage tradeoff is well established, is the clearest case: higher guidance improves pass@$1$, but its advantage shrinks and reverses at larger $k$. Applying pass@$k$ to few-step distilled models, we find the same tradeoff splits along training objectives: distribution-matching objectives concentrate the student's output distribution, boosting early-hit rates while eroding large-budget coverage, whereas consistency and trajectory-based objectives better preserve the teacher's coverage even at large $k$. We further show that this tradeoff extends to few-step causal video generation. Our findings reveal a previously overlooked cost of diffusion distillation: across both image and video generation, the choice of training objective fundamentally determines whether a few-step model inherits its teacher's distribution coverage or trades it away for single-draw quality.
• Abstract（参考訳）: 拡散蒸留はサンプリングを加速するために広く採用されており、結果として得られる数段階のモデルが、世代ごとの多段階の教師と一致するか、さらに上回っていると広く信じられている。 しかし、GenEval2のような標準的な評価は、通常、プロンプト毎に1つのサンプルしか引き出さないため、改善されたスコアは、配布範囲の損失を明らかにすることができない。 したがって、蒸留されたモデルが単系統のパフォーマンスを超えているかどうかを、$k$の独立したサンプルのうちの少なくとも1つが品質基準を満たす確率を測る「textbf{pass@$\mathbf{k}$}」を用いて再検討する。 k{=}1$の場合、pass@$k$は標準の単行評価に還元される。 k$が大きくなるにつれて、追加のドローが真に異なる成功を見出すか、あるいは単に同じモードを再考するかが明らかになり、モデルが有効出力の空間をいかに広くカバーしているかを直接露呈する。 高いガイダンスはpass@1$を改善するが、その利点はより大きい$k$で縮小し、逆になる。 pass@k$を数ステップの蒸留モデルに適用すると、同じトレードオフがトレーニング目標に沿って見出される: 分散マッチングの対象は、学生の出力分布に集中し、大予算カバレッジを侵食しながら早期のヒット率を高めます。 さらに、このトレードオフは、数ステップの因果ビデオ生成にまで及んでいることを示す。 画像生成と映像生成の双方において, 学習目的の選択は, 教師の配布範囲を数段階で継承するか, 単線品質で交換するかを根本的に決定する。

関連論文リスト

• Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher [36.07614733558147]
  フローマッチングモデルのための教師なしOPDフレームワークである textbfSelf-OPD を紹介する。 Self-OPDは決定論的次状態予測を$K$SDE候補に分割し、ODEサンプルとロールアウトして、決定論的自己参照ベースラインと比較する。 単品と混合報酬のベンチマーク実験により、セルフOPDはタスク固有の教師を伴わずに、以前のRLとOPDメソッドよりも優れていた。
  論文  参考訳（メタデータ） (2026-08-27T09:34:23Z)
• One-step Diffusion Models with $f$-Divergence Distribution Matching [41.21390253053562]
  近年の研究では,多段階拡散モデルを変分点蒸留により単一段階の学生生成器に蒸留している。 これらの手法は、モード探索として知られている分布マッチングにKL(Kulback-Leibler)の逆偏差を用いる。 本稿では,新しい$f$-divergence最小化フレームワークを用いて分布マッチング手法を一般化する。
  論文  参考訳（メタデータ） (2025-02-21T18:59:20Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Bridging the Gap: Addressing Discrepancies in Diffusion Model Training for Classifier-Free Guidance [1.6804613362826175]
  拡散モデルは、生成モデルにおいて重要な進歩として現れている。 本稿では,従来の訓練方法と所望の条件付きサンプリング行動との相違点を明らかにすることを目的とする。 トレーニング目標とサンプリング行動との整合性を向上する改良された損失関数を導入する。
  論文  参考訳（メタデータ） (2023-11-02T02:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。