論文の概要: FORT: Forward-Only Regression Training of Normalizing Flows

• arxiv url: http://arxiv.org/abs/2506.01158v1
• Date: Sun, 01 Jun 2025 20:32:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.957761
• Title: FORT: Forward-Only Regression Training of Normalizing Flows
• Title（参考訳）: FORT: 正規化流れのフォワードオンリー回帰訓練
• Authors: Danyal Rehman, Oscar Davis, Jiarui Lu, Jian Tang, Michael Bronstein, Yoshua Bengio, Alexander Tong, Avishek Joey Bose,
• Abstract要約: 我々は,古典正規化フローを,精度の高い一段階生成モデルとして再考する。 本稿では,従来の最大度学習で用いられる可変式の変更を計算する必要のない,スケーラブルな学習目標を提案する。
• 参考スコア（独自算出の注目度）: 85.66894616735752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simulation-free training frameworks have been at the forefront of the generative modelling revolution in continuous spaces, leading to neural dynamical systems that encompass modern large-scale diffusion and flow matching models. Despite the scalability of training, the generation of high-quality samples and their corresponding likelihood under the model requires expensive numerical simulation -- inhibiting adoption in numerous scientific applications such as equilibrium sampling of molecular systems. In this paper, we revisit classical normalizing flows as one-step generative models with exact likelihoods and propose a novel, scalable training objective that does not require computing the expensive change of variable formula used in conventional maximum likelihood training. We propose Forward-Only Regression Training (FORT), a simple $\ell_2$-regression objective that maps prior samples under our flow to specifically chosen targets. We demonstrate that FORT supports a wide class of targets, such as optimal transport targets and targets from pre-trained continuous-time normalizing flows (CNF). We further demonstrate that by using CNF targets, our one-step flows allow for larger-scale training that exceeds the performance and stability of maximum likelihood training, while unlocking a broader class of architectures that were previously challenging to train. Empirically, we elucidate that our trained flows can perform equilibrium conformation sampling in Cartesian coordinates of alanine dipeptide, alanine tripeptide, and alanine tetrapeptide.
• Abstract（参考訳）: シミュレーションなしのトレーニングフレームワークは、連続空間における生成的モデリング革命の最前線にあり、現代の大規模拡散とフローマッチングモデルを含む神経力学システムにつながっている。 訓練のスケーラビリティにも拘わらず、高品質なサンプルの生成とそれに対応する可能性には、高価な数値シミュレーションが必要であり、分子系の平衡サンプリングのような多くの科学的応用において採用を阻害する。 本稿では,古典正規化フローを精度の高い一段階生成モデルとして再検討し,従来の最大極大学習で用いられる可変式の変更を計算する必要のない,スケーラブルな学習目標を提案する。 提案するFORT(Forward-Only Regression Training)は,フロー下のサンプルを選択的に選択したターゲットにマッピングする,単純な$\ell_2$-regressionの目標である。 我々は,ForRTが,事前訓練した連続時間正規化フロー(CNF)から最適な輸送目標や目標など,幅広い種類の目標をサポートすることを実証した。 さらに、CNFターゲットを使用することで、我々のワンステップフローは、これまでトレーニングが困難だったより広いレベルのアーキテクチャをアンロックしつつ、最大可能性トレーニングのパフォーマンスと安定性を上回る大規模なトレーニングを可能にします。 実験により, アラニンジペプチド, アラニントリペプチド, アラニンテトラペプチドのカルテシアン座標における平衡整合サンプリングが可能であることを確認した。

関連論文リスト

• On-the-Fly Fine-Tuning of Foundational Neural Network Potentials: A Bayesian Neural Network Approach [2.0700747055024284]
  微調整基礎モデルは、所望の精度に達するのに必要なトレーニングデータの量を減らすことができる。 この形式のアクティブラーニングを基礎モデルの微調整に適用する上で重要な課題は、微調整プロセス中にこれらのモデルの不確実性を評価する方法である。
  論文  参考訳（メタデータ） (2025-07-18T10:33:06Z)
• Action-Minimization Meets Generative Modeling: Efficient Transition Path Sampling with the Onsager-Machlup Functional [2.010573982216398]
  現在の機械学習アプローチでは、高価でタスク固有の、データフリーなトレーニング手順を採用している。 多様な分子系へのアプローチを実証し、多様で物理的に現実的な遷移経路を得る。 提案手法は,新たな生成モデルに容易に組み込むことが可能である。
  論文  参考訳（メタデータ） (2025-04-25T17:17:17Z)
• TFG-Flow: Training-free Guidance in Multimodal Generative Flow [73.93071065307782]
  本稿では,マルチモーダルな生成フローのためのトレーニング不要指導法TFG-Flowを紹介する。 TFG-Flowは、離散変数の導出において、非バイアスサンプリングの特性を維持しながら、次元の呪いに対処する。 TFG-Flowは, 所望の特性を持つ分子を生成することにより, 薬物設計において大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2025-01-24T03:44:16Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Free-form Flows: Make Any Architecture a Normalizing Flow [8.163244519983298]
  本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。 これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。 我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
  論文  参考訳（メタデータ） (2023-10-25T13:23:08Z)
• SE(3)-Stochastic Flow Matching for Protein Backbone Generation [54.951832422425454]
  我々はFoldFlowを紹介した。FoldFlowは,3mathrmD$の剛性運動に対するフローマッチングパラダイムに基づく,モデリング能力向上のための新しい生成モデルである。 FoldFlow生成モデルのファミリーは、タンパク質の生成モデルに対する従来のアプローチよりもいくつかの利点を提供している。
  論文  参考訳（メタデータ） (2023-10-03T19:24:24Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)
• Embedded training of neural-network sub-grid-scale turbulence models [0.0]
  ディープニューラルネットワークモデルの重みは、制御フロー方程式と共に最適化され、サブグリッドスケールの応力のモデルを提供する。 トレーニングは勾配降下法で行われ、随伴ナビエ-ストークス方程式を用いてモデル重みのエンドツーエンドの感度を速度場に与える。
  論文  参考訳（メタデータ） (2021-05-03T17:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。