Few-Step Boltzmann Generators via Scalable Likelihood Flow Maps
Abstractの概要
本論文は、わずかな関数評価でサンプルの生成とその尤度推定を行うことを目的とした、尤度フローマップの学習手法であるSCALLOPを提案している。この手法は、学習中の発散推定にハッチンソンの軌跡推定器に依存し、その結果高い分散と追加の計算コストに悩まされるF2D2などの従来手法の代替として設計されている。SCALLOPは、その要素を条件付き発散マッチングとベクトル化された定式化に置き換え、ハッチンソンベースの推定なしに尤度関連量を抽出できるようにした。本論文では、分子ボルツマン生成タスクおよびCelebA-64を用いた画像生成において、学習の安定性、実行時間、および尤度の精度に焦点を当てて本手法を評価している。
新規性
主な新規性は、条件付き発散マッチングに基づくフローマップモデル向けのハッチンソンフリーな尤度抽出目的関数と、スカラーの発散のみではなくヤコビアンの対角項を予測するベクトル化された発散ターゲットを組み合わせた点である。これにより、少数ステップのフローマップ生成が、通常の確率的軌跡推定のボトルネックを回避しつつ、よりスケーラブルなサンプルと尤度の結合推定へと拡張される。
成果
アラニン分子系全体において、SCALLOPは報告された指標で一貫してF2D2を上回り、強力なボルツマン生成器のベースラインに匹敵する性能を示しつつ、ALA-3およびALA-6のねじれ角Wassersteinスコアで最高値を達成した。本論文では、学習の分散の低減と収束の高速化に加え、F2D2に比べ約10%の学習の高速化を実現し、分子セットアップにおける最速のベースラインに対し最大10倍、FALCONに対して最大100倍という、ヤコビアンベースのベースラインを大きく凌駕する推論の高速化が報告されている。CelebA-64においては、SCALLOPはF2D2と同等のサンプル品質と尤度指標を達成しながら、サンプルごとのBPD誤差を一貫して減少させ、学習の安定性を向上させている。
論文の注目点
- SCALLOPは、尤度フローマップの学習におけるハッチンソンベースの発散推定を条件付き発散マッチングに置き換え、分散を低減し、学習の主要なボトルネックを排除する。
- 本手法は、ヤコビアンの対角成分を学習するベクトル化された目的関数を使用し、発散の効率的な再構成を可能にするとともに、サンプリングと尤度評価のための共有の少数ステップフレームワークをサポートする。
- 経験的に、SCALLOPは分子および画像の実験でF2D2を大きく改善し、最先端のボルツマン生成器に匹敵する性能を維持しつつ、尤度を考慮した推論において著しく優れた実行時間特性を提供する。