論文の概要: Tilt Matching for Scalable Sampling and Fine-Tuning
- arxiv url: http://arxiv.org/abs/2512.21829v1
- Date: Fri, 26 Dec 2025 02:12:10 GMT
- ステータス: 情報取得中
- システム内更新日: 2025-12-29 11:56:18.662138
- Title: Tilt Matching for Scalable Sampling and Fine-Tuning
- Title(参考訳): スケーラブルサンプリングとファインチューニングのためのティルトマッチング
- Authors: Peter Potaptchik, Cheuk-Kit Lee, Michael S. Albergo,
- Abstract要約: 本研究では,非正規化密度のサンプルや微調整生成モデルに補間剤を用いるスケーラブルなアルゴリズムを提案する。
ティルトマッチング(Tilt Matching)という手法は、流れのマッチング速度と、報酬によって傾いた同じ分布をターゲットにした力学方程式から生じる。
我々は,この手法が効率的かつ高度に拡張可能であることを実証的に検証し,レナード・ジョーンズポテンシャルの下でのサンプリングにおける最先端の結果を提供し,微調整安定拡散に競争力を持つことを示した。
- 参考スコア(独自算出の注目度): 4.14348726233299
- License:
- Abstract: We propose a simple, scalable algorithm for using stochastic interpolants to sample from unnormalized densities and for fine-tuning generative models. The approach, Tilt Matching, arises from a dynamical equation relating the flow matching velocity to one targeting the same distribution tilted by a reward, implicitly solving a stochastic optimal control problem. The new velocity inherits the regularity of stochastic interpolant transports while also being the minimizer of an objective with strictly lower variance than flow matching itself. The update to the velocity field can be interpreted as the sum of all joint cumulants of the stochastic interpolant and copies of the reward, and to first order is their covariance. The algorithms do not require any access to gradients of the reward or backpropagating through trajectories of the flow or diffusion. We empirically verify that the approach is efficient and highly scalable, providing state-of-the-art results on sampling under Lennard-Jones potentials and is competitive on fine-tuning Stable Diffusion, without requiring reward multipliers. It can also be straightforwardly applied to tilting few-step flow map models.
- Abstract(参考訳): 本研究では,非正規化密度および微調整生成モデルから確率補間体をサンプリングするために,単純でスケーラブルなアルゴリズムを提案する。
ティルトマッチング(Tilt Matching)という手法は、フローマッチング速度と、報酬によって傾いた同じ分布を対象とし、確率論的最適制御問題を暗黙的に解くことに関する力学方程式から生じる。
新しい速度は、確率的補間輸送の規則性を継承すると同時に、フローマッチング自体よりも厳密に低い分散を持つ対象の最小化器でもある。
速度場への更新は、確率補間子のすべての結合累積と報酬のコピーの和と解釈できる。
アルゴリズムは、フローや拡散の軌跡を通して報酬の勾配やバックプロパゲーションへのアクセスを一切必要としない。
提案手法は,レナード・ジョーンズポテンシャルの下でのサンプリングにおける最先端の結果を提供するとともに,報奨乗算器を必要とせず,微調整安定拡散に競争力があることを示す。
数ステップのフローマップモデルに簡単に適用することもできる。
関連論文リスト
- Generative Modeling with Continuous Flows: Sample Complexity of Flow Matching [60.37045080890305]
本稿では,フローマッチングに基づく生成モデルにおいて,サンプルの複雑さを初めて解析する。
速度場推定誤差をニューラルネットワーク近似誤差、有限標本サイズによる統計的誤差、速度場推定のための有限個の最適化ステップによる最適化誤差に分解する。
論文 参考訳(メタデータ) (2025-12-01T05:14:25Z) - Test-time scaling of diffusions with flow maps [68.79792714591564]
テスト時の拡散モデルを改善するための一般的なレシピは、報酬の勾配を拡散そのものの力学に導入することである。
フローマップを直接扱うことで,簡単な解を提案する。
本研究では, 流図と流速場の関係を利用して, 従来のテスト時間法よりも精度の高いフローマップトラジェクトリ・ティルティング (FMTT) アルゴリズムを構築した。
論文 参考訳(メタデータ) (2025-11-27T18:44:12Z) - On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。
RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。
本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
論文 参考訳(メタデータ) (2024-10-19T02:36:11Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Stochastic Interpolants: A Unifying Framework for Flows and Diffusions [18.299322342860517]
フローベースおよび拡散ベースを統一する生成モデルのクラスを紹介する。
これらのモデルは、Albergo と VandenEijnden (2023) で提案されたフレームワークを拡張し、インターポーラントと呼ばれる広範囲の連続時間プロセスの使用を可能にした。
論文 参考訳(メタデータ) (2023-03-15T17:43:42Z) - Building Normalizing Flows with Stochastic Interpolants [11.22149158986164]
一対の基底分布と対象分布の間の連続時間正規化フローに基づく単純な2次モデルを提案する。
この流れの速度場は、基地と目標の間を有限時間で補間する時間依存分布の確率電流から推定される。
論文 参考訳(メタデータ) (2022-09-30T16:30:31Z) - A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。
提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
論文 参考訳(メタデータ) (2021-10-07T17:51:10Z) - Explicit Regularization of Stochastic Gradient Methods through Duality [9.131027490864938]
ランダム化された双対座標の上昇に基づくランダム化されたDykstraスタイルのアルゴリズムを提案する。
座標降下を高速化するために、補間系における既存の勾配法よりも収束特性がよい新しいアルゴリズムを得る。
論文 参考訳(メタデータ) (2020-03-30T20:44:56Z) - Stochastic Normalizing Flows [2.323220706791067]
単純な事前分布の変換を学習するために,フローの正規化が有効であることを示す。
サンプルとフローパラメータの両方をエンドツーエンドに最適化できる効率的なトレーニング手順を導出する。
いくつかのベンチマークでSNFの表現力,サンプリング効率,正当性について述べる。
論文 参考訳(メタデータ) (2020-02-16T23:29:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。