論文の概要: Few-Step Boltzmann Generators via Scalable Likelihood Flow Maps
- arxiv url: http://arxiv.org/abs/2606.29110v1
- Date: Sat, 27 Jun 2026 23:26:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.791257
- Title: Few-Step Boltzmann Generators via Scalable Likelihood Flow Maps
- Title(参考訳): スケーラブルな擬似フローマップを用いた数ステップボルツマン発電機
- Authors: RuiKang OuYang, Hanlin Yu, Xinyue Ai, Yutong He, Nicholas M. Boffi, Pradeep Ravikumar, Jose Miguel Hernandez-Lobato, Max Simchowitz, Benjamin Kurt Miller, Omar Chehab,
- Abstract要約: フローベース生成モデリングは、少数の関数評価のみを使用しながら高品質なサンプルを出力するモデルに導かれる。
本稿では,flOw maPs (SCALLOP) のLikeLihood蒸留について紹介する。
SCALLOPは、トレーニングのばらつきとトレーニング時間の両方を大幅に削減し、パフォーマンスを継続的に改善します。
- 参考スコア(独自算出の注目度): 33.896605880822115
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent progress in flow-based generative modeling has led to models that output high-quality samples while using only a small number of function evaluations. However, at present, there is a lack of similar advances in estimating the model likelihood. In particular, most existing methods either rely on restrictive architectures that enable exact calculations, or use stochastic approximations such as Hutchinson's trace estimator that introduce substantial variance. In this work, we introduce SCAlable LikeLihood distillation of flOw maPs (SCALLOP). SCALLOP builds on the recently proposed F2D2, a likelihood flow map model that can generate samples and their densities in a small number of function evaluations. While F2D2 uses Hutchinson's estimator during training, we introduce an alternative and more scalable likelihood distillation objective that is Hutchinson-free and admits a vectorized formulation. Empirically, we demonstrate the effectiveness of SCALLOP as a Boltzmann generator in molecular science, and further validate its benefit on image datasets. SCALLOP significantly reduces both training variance and training time while consistently improving performance compared to F2D2, and is competitive with the state-of-the-art while achieving up to 10x inference speedup over the fastest baseline.
- Abstract(参考訳): フローベース生成モデリングの最近の進歩は、少数の関数評価のみを使用しながら高品質なサンプルを出力するモデルにつながっている。
しかし、現在、モデルの可能性の推定には類似した進歩が欠如している。
特に、既存のほとんどの手法は、正確な計算を可能にする制限的アーキテクチャに依存するか、ハッチンソンのトレース推定器のような確率的近似を用いて、かなりの分散をもたらす。
そこで本研究では,flOw maPs (SCALLOP) のScallable LikeLihood蒸留について紹介する。
SCALLOPは、最近提案されたF2D2の上に構築されており、少数の関数評価においてサンプルとその密度を生成できる可能性フローマップモデルである。
F2D2は訓練中にハッチンソンの推定器を用いるが、ハッチンソンフリーでベクトル化された定式化を許容する代替でスケーラブルな蒸留目標を導入する。
分子科学におけるボルツマン生成器としてのSCALLOPの有効性を実証し,その利点を画像データセットで検証した。
SCALLOPは、F2D2と比較してパフォーマンスを継続的に改善しながら、トレーニングのばらつきとトレーニング時間を著しく削減し、最先端のベースラインよりも最大10倍の推論スピードアップを実現しつつ、最先端技術と競合する。
関連論文リスト
- StAD: Stein Amortized Divergence for Fast Likelihoods with Diffusion and Flow [0.0]
StADは確率フロー常微分方程式(PF-ODE)の分岐を予測・学習するための新しい手法である
我々は,CIFAR-10,ImageNetなどの密度推定タスクにおいて,HutchinsonとHutch++と競合することを示す。
論文 参考訳(メタデータ) (2026-05-15T18:00:00Z) - FALCON: Few-step Accurate Likelihoods for Continuous Flows [78.37361800856583]
本稿では,FALCON(Few-step Accurate Likelihoods for Continuous Flows)を提案する。
FALCONは分子ボルツマンサンプリングのための最先端の正規化フローモデルより優れており、同等の性能を持つCNFモデルよりも2桁高速である。
論文 参考訳(メタデータ) (2025-12-10T18:47:25Z) - Joint Distillation for Fast Likelihood Evaluation and Sampling in Flow-based Models [100.28111930893188]
今日の最高の生成モデルの中には、単一の可能性を計算するために、数百から数千の神経機能評価を必要とするものもあります。
本研究では, 高速流動継手蒸留法 (F2D2) を提案し, サンプリングに必要なNFEの数を2桁に減らした。
F2D2はモジュール構造であり、既存のフローベースの数ステップサンプリングモデルと互換性がある。
論文 参考訳(メタデータ) (2025-12-02T10:48:20Z) - On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。
RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。
本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
論文 参考訳(メタデータ) (2024-10-19T02:36:11Z) - Cumulative Hazard Function Based Efficient Multivariate Temporal Point Process Learning [0.0]
本稿では、ニューラルネットワークを用いてフレキシブルだが適切に定義されたCHFをモデル化する。
提案手法は,データフィッティングおよびイベント予測タスクにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2024-04-21T13:51:31Z) - Structural Pruning for Diffusion Models [65.02607075556742]
Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。
複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-05-18T12:38:21Z) - Improved Techniques for Maximum Likelihood Estimation for Diffusion ODEs [21.08236758778604]
拡散ODEの最大誤差推定のためのいくつかの改良手法を提案する。
トレーニングのために,速度パラメータ化を提案し,より高速な収束のための分散低減手法を探索する。
評価のために,拡散 ODE に存在する訓練・評価のギャップを埋めるために,新しい訓練自由トラクト正規化法を提案する。
論文 参考訳(メタデータ) (2023-05-06T05:21:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。