論文の概要: Joint Distillation for Fast Likelihood Evaluation and Sampling in Flow-based Models

• arxiv url: http://arxiv.org/abs/2512.02636v1
• Date: Tue, 02 Dec 2025 10:48:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-03 21:04:45.834473
• Title: Joint Distillation for Fast Likelihood Evaluation and Sampling in Flow-based Models
• Title（参考訳）: フローベースモデルにおける高速模擬評価とサンプリングのためのジョイント蒸留法
• Authors: Xinyue Ai, Yutong He, Albert Gu, Ruslan Salakhutdinov, J Zico Kolter, Nicholas Matthew Boffi, Max Simchowitz,
• Abstract要約: 今日の最高の生成モデルの中には、単一の可能性を計算するために、数百から数千の神経機能評価を必要とするものもあります。 本研究では, 高速流動継手蒸留法 (F2D2) を提案し, サンプリングに必要なNFEの数を2桁に減らした。 F2D2はモジュール構造であり、既存のフローベースの数ステップサンプリングモデルと互換性がある。
• 参考スコア（独自算出の注目度）: 100.28111930893188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Log-likelihood evaluation enables important capabilities in generative models, including model comparison, certain fine-tuning objectives, and many downstream applications. Yet paradoxically, some of today's best generative models -- diffusion and flow-based models -- still require hundreds to thousands of neural function evaluations (NFEs) to compute a single likelihood. While recent distillation methods have successfully accelerated sampling to just a few steps, they achieve this at the cost of likelihood tractability: existing approaches either abandon likelihood computation entirely or still require expensive integration over full trajectories. We present fast flow joint distillation (F2D2), a framework that simultaneously reduces the number of NFEs required for both sampling and likelihood evaluation by two orders of magnitude. Our key insight is that in continuous normalizing flows, the coupled ODEs for sampling and likelihood are computed from a shared underlying velocity field, allowing us to jointly distill both the sampling trajectory and cumulative divergence using a single model. F2D2 is modular, compatible with existing flow-based few-step sampling models, and requires only an additional divergence prediction head. Experiments demonstrate F2D2's capability of achieving accurate log-likelihood with few-step evaluations while maintaining high sample quality, solving a long-standing computational bottleneck in flow-based generative models. As an application of our approach, we propose a lightweight self-guidance method that enables a 2-step MeanFlow model to outperform a 1024 step teacher model with only a single additional backward NFE.
• Abstract（参考訳）: ログのような評価は、モデルの比較、特定の微調整目的、多くの下流アプリケーションなど、生成モデルにおいて重要な機能を可能にする。 しかし、パラドックス的には、今日の最良の生成モデル — 拡散とフローベースモデル — のいくつかは、単一の可能性を計算するために、数百から数千のニューラルファンクション評価(NFE)を必要とする。 最近の蒸留法はサンプリングをわずか数ステップで高速化することに成功したが、これはトラクタビリティを犠牲にして達成されている。 本研究では, 高速流動継手蒸留法 (F2D2) を提案し, サンプリングに必要なNFEの数を2桁に減らした。 我々の重要な洞察は、連続正規化フローにおいて、サンプリングと可能性の結合ODEは共有基底速度場から計算され、単一のモデルを用いてサンプリング軌跡と累積分岐の両方を共同で蒸留できるということである。 F2D2はモジュール構造であり、既存のフローベースの数ステップサンプリングモデルと互換性がある。 実験では、フローベース生成モデルにおける長期間の計算ボトルネックを解消し、高いサンプル品質を維持しながら、数ステップの評価で正確なログライクな状態を達成するF2D2の能力を示す。 本手法の適用例として,2ステップのMeanFlowモデルにより,1つの後進NFEのみを付加した1024ステップの教師モデルより優れる軽量な自己指導手法を提案する。

関連論文リスト

• Generative Modeling with Continuous Flows: Sample Complexity of Flow Matching [60.37045080890305]
  本稿では,フローマッチングに基づく生成モデルにおいて,サンプルの複雑さを初めて解析する。 速度場推定誤差をニューラルネットワーク近似誤差、有限標本サイズによる統計的誤差、速度場推定のための有限個の最適化ステップによる最適化誤差に分解する。
  論文  参考訳（メタデータ） (2025-12-01T05:14:25Z)
• GLASS Flows: Transition Sampling for Alignment of Flow and Diffusion Models [42.15046750300825]
  GLASS Flowsは「フローマッチングモデル」をシミュレートしてマルコフ遷移をサンプリングする新しいサンプリングパラダイムである。 大規模テキスト・画像モデルでは,GLASSフローが進化と効率のトレードオフをなくすことが示されている。
  論文  参考訳（メタデータ） (2025-09-29T17:58:36Z)
• Align Your Flow: Scaling Continuous-Time Flow Map Distillation [63.927438959502226]
  フローマップは、任意の2つのノイズレベルを1ステップで接続し、すべてのステップカウントで有効に保ちます。 画像生成ベンチマークにおいて、Align Your Flowと呼ばれるフローマップモデルを広範囲に検証する。 テキスト条件付き合成において、既存の非横断的訓練された数ステップのサンプルよりも優れたテキスト間フローマップモデルを示す。
  論文  参考訳（メタデータ） (2025-06-17T15:06:07Z)
• Mean Flows for One-step Generative Modeling [64.4997821467102]
  本稿では,一段階生成モデリングのための原理的かつ効果的なフレームワークを提案する。 ニューラルネットワークトレーニングのガイドには,平均速度と瞬時速度を適切に定義したアイデンティティが導出され,使用される。 提案手法はMeanFlowモデルと呼ばれ,自己完結型であり,事前学習,蒸留,カリキュラム学習は不要である。
  論文  参考訳（メタデータ） (2025-05-19T17:59:42Z)
• Neural Flow Samplers with Shortcut Models [19.81513273510523]
  連続フローベースのニューラルサンプリングは、非正規化された密度からサンプルを生成するための有望なアプローチを提供する。 速度駆動型Sequential Monte Carlo法を用いて,これらの課題量に対する改良された推定器を提案する。 提案するニューラルフローショートカットサンプリングは,合成データセットと複雑なnボディシステムターゲットの両方において,既存のフローベースニューラルサンプリングよりも経験的に優れている。
  論文  参考訳（メタデータ） (2025-02-11T07:55:41Z)
• Flow map matching with stochastic interpolants: A mathematical framework for consistency models [15.520853806024943]
  フローマップマッチングは、基礎となる生成モデルの2時間フローマップを学ぶための原則化されたフレームワークである。 FMMは,高速サンプリングのための既存手法の幅広いクラスを統一し,拡張することを示す。
  論文  参考訳（メタデータ） (2024-06-11T17:41:26Z)
• Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
  Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。 CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
  論文  参考訳（メタデータ） (2023-10-01T05:07:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。