論文の概要: Variance Reduction for Expectations with Diffusion Teachers

• arxiv url: http://arxiv.org/abs/2605.21489v1
• Date: Wed, 20 May 2026 17:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.840078
• Title: Variance Reduction for Expectations with Diffusion Teachers
• Title（参考訳）: 拡散教師への期待に対する可変化
• Authors: Jesse Bettencourt, Xindi Wu, Matan Atzmon, James Lucas, Jonathan Lorraine,
• Abstract要約: 事前訓練された拡散モデルは、テキストから3D、シングルステップ蒸留、データ属性などの下流パイプラインを供給している凍結教師として機能する。 本稿では,階層型MC推定器の動機となる分散計算フレームワークCARVを紹介する。
• 参考スコア（独自算出の注目度）: 16.320202743531315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained diffusion models serve as frozen teachers feeding downstream pipelines such as text-to-3D, single-step distillation, and data attribution. The teacher gradients these pipelines consume are Monte Carlo (MC) expectations over noise levels and Gaussian noise samples; their estimator variance dominates compute cost because each draw requires expensive upstream work (rendering, simulation, encoding). We introduce CARV, a compute-aware variance-accounting framework that motivates a hierarchical MC estimator: amortize the expensive upstream computation over cheap diffusion-noise resamples, sharpened by timestep importance sampling and a stratified-inverse-CDF construction. In our text-to-3D distillation and attribution experiments, CARV delivers 2-3x effective compute multipliers (most from amortized reuse; ~25% additional from IS+stratification) without changing the objective; in single-step distillation, the same techniques cut gradient variance by an order of magnitude but do not improve downstream FID, marking the regime where MC variance is no longer the bottleneck.
• Abstract（参考訳）: 事前訓練された拡散モデルは、テキストから3D、シングルステップ蒸留、データ属性などの下流パイプラインを供給している凍結教師として機能する。 これらのパイプラインが消費する教師の勾配は、ノイズレベルとガウスノイズサンプルに対するモンテカルロ(MC)の予測である。 本稿では,高コストな拡散ノイズリサンプレット上での高コストアップストリーム計算を補正し,時間ステップの重要度サンプリングと階層化された逆CDF構成により高速化する,階層型MC推定器を動機とする計算対応分散評価フレームワークCARVを紹介する。 テキスト・ツー・3D蒸留および帰属実験では,CARVは目的を変更せずに2～3倍の有効計算乗算器(大半は減圧再利用,IS+成層化から25%追加)を納入する。

関連論文リスト

• Stitched Value Model for Diffusion Alignment [76.52330634059528]
  拡散またはフローベースの生成モデルは、即興の忠実さや美的嗜好など、タスク固有の報酬と整合していなければならない。 本稿では、クリーンな画像のために事前訓練された報酬モデルをノイズの多い潜伏状態に効率的に転送するモデル縫合フレームワークであるStitchVMを提案する。 提案手法は,下流のステアリングおよびポストトレーニング手法の幅広い改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-05-19T13:02:50Z)
• On Variance Reduction in Learning Mean Flows [7.705995307512647]
  平均フロートレーニングは不安定で、非減少損失と非バウンド勾配のばらつきがある。 我々は,この病態を条件速度場の誤用とみなす理論を確立した。 我々は、閉形式の最適係数を導出し、並列処理における修正の族が、同じ最適化の異なる実践的実現に対応することを示す。
  論文  参考訳（メタデータ） (2026-05-10T00:32:53Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• Distillation of Discrete Diffusion by Exact Conditional Distribution Matching [9.460409527892345]
  本稿では, 空調分布マッチングに基づく簡易かつ原理的な蒸留法を提案する。 我々は,この構造を利用して,事前学習した教師と低NFE学生の条件分布を直接一致させる蒸留目標を定義する。
  論文  参考訳（メタデータ） (2025-12-15T00:16:10Z)
• Score Distillation of Flow Matching Models [67.86066177182046]
  我々は、Score Identity Distillation (SiD) を事前訓練されたテキスト対画像フローマッチングモデルに拡張する。 SiDは、データフリーとデータアシストの両方の設定で、これらのモデルですぐに使える。 これは、スコア蒸留がテキストと画像のフローマッチングモデルに広く適用されるという最初の体系的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-09-29T17:45:48Z)
• Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis [65.77083310980896]
  本稿では, 実測値と偽測値の間に潜時予測を整列させる適応分布マッチング (ADM) を提案する。 提案手法は,DMD2と比較してSDXLの1ステップ性能に優れ,GPU時間が少ない。 SD3-Medium, SD3.5-Large, CogVideoX に多段階の ADM 蒸留を適用した実験では, 画像と映像の効率的な合成に向けた新しいベンチマークが設定された。
  論文  参考訳（メタデータ） (2025-07-24T16:45:05Z)
• Efficient and Unbiased Sampling from Boltzmann Distributions via Variance-Tuned Diffusion Models [24.911598225979606]
  VT-DIS(Variance-Tuned Diffusion Smpling)は、事前学習したスコアベース拡散モデルのステップごとのノイズ共分散に適応する軽量な手法である。 VT-DISはDW-4, LJ-13, アラニン-ジペプチドベンチマークでそれぞれ80%, 35%, 3.5%の有効試料サイズを達成している。
  論文  参考訳（メタデータ） (2025-05-27T10:37:48Z)
• Unleashing the Power of One-Step Diffusion based Image Super-Resolution via a Large-Scale Diffusion Discriminator [81.81748032199813]
  拡散モデルは実世界の超解像(Real-ISR)に優れた性能を示した SRのための大規模textbfDiscriminator を用いた One-Step textbfDiffusion モデルを提案する。 我々の判別器は、潜伏空間における拡散モデルの任意の時間ステップからノイズのある特徴を抽出することができる。
  論文  参考訳（メタデータ） (2024-10-05T16:41:36Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。