論文の概要: FORT: Forward-Only Regression Training of Normalizing Flows

• arxiv url: http://arxiv.org/abs/2506.01158v1
• Date: Sun, 01 Jun 2025 20:32:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.957761
• Title: FORT: Forward-Only Regression Training of Normalizing Flows
• Title（参考訳）: FORT: 正規化流れのフォワードオンリー回帰訓練
• Authors: Danyal Rehman, Oscar Davis, Jiarui Lu, Jian Tang, Michael Bronstein, Yoshua Bengio, Alexander Tong, Avishek Joey Bose,
• Abstract要約: 我々は,古典正規化フローを,精度の高い一段階生成モデルとして再考する。 本稿では,従来の最大度学習で用いられる可変式の変更を計算する必要のない,スケーラブルな学習目標を提案する。
• 参考スコア（独自算出の注目度）: 85.66894616735752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simulation-free training frameworks have been at the forefront of the generative modelling revolution in continuous spaces, leading to neural dynamical systems that encompass modern large-scale diffusion and flow matching models. Despite the scalability of training, the generation of high-quality samples and their corresponding likelihood under the model requires expensive numerical simulation -- inhibiting adoption in numerous scientific applications such as equilibrium sampling of molecular systems. In this paper, we revisit classical normalizing flows as one-step generative models with exact likelihoods and propose a novel, scalable training objective that does not require computing the expensive change of variable formula used in conventional maximum likelihood training. We propose Forward-Only Regression Training (FORT), a simple $\ell_2$-regression objective that maps prior samples under our flow to specifically chosen targets. We demonstrate that FORT supports a wide class of targets, such as optimal transport targets and targets from pre-trained continuous-time normalizing flows (CNF). We further demonstrate that by using CNF targets, our one-step flows allow for larger-scale training that exceeds the performance and stability of maximum likelihood training, while unlocking a broader class of architectures that were previously challenging to train. Empirically, we elucidate that our trained flows can perform equilibrium conformation sampling in Cartesian coordinates of alanine dipeptide, alanine tripeptide, and alanine tetrapeptide.
• Abstract（参考訳）: シミュレーションなしのトレーニングフレームワークは、連続空間における生成的モデリング革命の最前線にあり、現代の大規模拡散とフローマッチングモデルを含む神経力学システムにつながっている。 訓練のスケーラビリティにも拘わらず、高品質なサンプルの生成とそれに対応する可能性には、高価な数値シミュレーションが必要であり、分子系の平衡サンプリングのような多くの科学的応用において採用を阻害する。 本稿では,古典正規化フローを精度の高い一段階生成モデルとして再検討し,従来の最大極大学習で用いられる可変式の変更を計算する必要のない,スケーラブルな学習目標を提案する。 提案するFORT(Forward-Only Regression Training)は,フロー下のサンプルを選択的に選択したターゲットにマッピングする,単純な$\ell_2$-regressionの目標である。 我々は,ForRTが,事前訓練した連続時間正規化フロー(CNF)から最適な輸送目標や目標など,幅広い種類の目標をサポートすることを実証した。 さらに、CNFターゲットを使用することで、我々のワンステップフローは、これまでトレーニングが困難だったより広いレベルのアーキテクチャをアンロックしつつ、最大可能性トレーニングのパフォーマンスと安定性を上回る大規模なトレーニングを可能にします。 実験により, アラニンジペプチド, アラニントリペプチド, アラニンテトラペプチドのカルテシアン座標における平衡整合サンプリングが可能であることを確認した。

関連論文リスト

• Action-Minimization Meets Generative Modeling: Efficient Transition Path Sampling with the Onsager-Machlup Functional [2.010573982216398]
  現在の機械学習アプローチでは、高価でタスク固有の、データフリーなトレーニング手順を採用している。 多様な分子系へのアプローチを実証し、多様で物理的に現実的な遷移経路を得る。 提案手法は,新たな生成モデルに容易に組み込むことが可能である。
  論文  参考訳（メタデータ） (2025-04-25T17:17:17Z)
• SE(3)-Stochastic Flow Matching for Protein Backbone Generation [54.951832422425454]
  我々はFoldFlowを紹介した。FoldFlowは,3mathrmD$の剛性運動に対するフローマッチングパラダイムに基づく,モデリング能力向上のための新しい生成モデルである。 FoldFlow生成モデルのファミリーは、タンパク質の生成モデルに対する従来のアプローチよりもいくつかの利点を提供している。
  論文  参考訳（メタデータ） (2023-10-03T19:24:24Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。