論文の概要: Same Flow, Different Paths: Variance Reduction in Flow Matching
- arxiv url: http://arxiv.org/abs/2609.17287v1
- Date: Tue, 15 Sep 2026 15:01:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.589549
- Title: Same Flow, Different Paths: Variance Reduction in Flow Matching
- Title（参考訳）: 同じ流れ, 異なる経路: フローマッチングにおけるばらつき低減
- Abstract要約: 最適化の観点から,この経路の選択について検討する。
我々の主な発見は、パス $g_t$ の選択は、SGDの収束率を根本的に変えることができるということである。
- 参考スコア（独自算出の注目度）: 67.12978375116599
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In flow matching (FM), a velocity model $v_θ$ is trained using a predefined path $g_t$ that connects data and noise samples (e.g., $g_t(x_0, x_1) = (1 - t) x_0 + t x_1$). In this work, we study the choice of this path from an optimization perspective by analyzing the variance of stochastic gradients. We consider the class $G(p_t,v^\star_t)$ of paths that induce the same marginal distributions $p_t$ and marginal velocity field $v^\star_t$, and therefore the same FM objective. Our main finding is that the choice of path $g_t$ can fundamentally change the convergence rate of SGD, even when the FM objective remains exactly the same. (i) For a linear velocity model and one-dimensional Gaussian data, we derive a tight bound on the SGD iteration complexity up to logarithmic factors and find an analytically optimal path that minimizes this bound among linear paths inducing the same FM problem. (ii) We then extend the variance analysis to general FM problems and formulate path selection at a fixed $θ$ as the variance-minimization problem PathOpt$_θ$, constrained to $g_t\in G(p_t,v^\star_t)$. We show that this constraint is essential: reducing variance without it can lead to slower convergence. (iii) Since the constraint $g_t \in G(p_t,v^\star_t)$ cannot generally be verified directly, we derive an equivalent formulation with constraints that can be estimated from samples, allowing paths to be found numerically. Our theoretical results are supported by experiments with Gaussian data, Gaussian mixture models, and real datasets.
- Abstract（参考訳）: フローマッチング(FM)において、速度モデル$v_θ$は、データとノイズサンプル(例えば、$g_t(x_0, x_1) = (1 - t) x_0 + t x_1$)を接続する事前定義されたパス$g_t$を用いて訓練される。
本研究では, この経路の選択を最適化の観点から, 確率勾配の分散を解析することによって検討する。
G(p_t,v^\star_t) のクラス $G(p_t,v^\star_t)$ は、同じ限界分布を$p_t$ と marginal velocity field $v^\star_t$ と誘導し、したがって同じ FM の目的を導くパスのクラス $G(p_t,v^\star_t)$ を考える。
我々の主な発見は、FMの目的が全く同じであっても、パス$g_t$の選択はSGDの収束率を根本的に変えることができるということである。
一 線形速度モデル及び一次元ガウスデータに対し、対数的因子までSGD反復の複雑さに厳密な束縛を導出し、同じFM問題を誘導する線形経路間のこの束縛を最小限に抑える解析的最適経路を求める。
(II) 分散解析を一般のFM問題に拡張し、分散最小化問題PathOpt$_θ$を$g_t\in G(p_t,v^\star_t)$に制約した固定された$θ$で経路選択を定式化する。
我々は、この制約が不可欠であることを示し、分散を減らし、収束が遅くなることを示した。
(iii) 制約 $g_t \in G(p_t,v^\star_t)$ は一般に直接検証できないので、サンプルから推定できる制約を持つ等価な定式化を導出し、数値的に経路を見つけることができる。
我々の理論的結果はガウスデータ、ガウス混合モデル、実際のデータセットによる実験によって支持される。
関連論文リスト
- Finite-Sample Performance of Gradient Descent in Logistic Regression with Gaussian Design [28.74829605004241]
我々は、最大極大目標(ロジスティック損失)に基づいて、勾配降下(GD)の有限サンプル推定性能と収束挙動を特徴付ける。
GD は、$*$の小さな近傍に線型収束し、$O(sqrt|*|5d/n)$の$ell$誤差を達成することを示す。
また、大きな$(|*|_2)$段数の下で同じ統計誤差に対するより高速な局所線型収束を確立する。
論文 参考訳（メタデータ） (2026-06-19T18:43:41Z) - Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
不変学習は、構造が統計的に識別可能であっても失敗することがある。
ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。
合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
論文 参考訳（メタデータ） (2026-06-11T05:49:43Z) - Learning manifold diffusion semigroups from graph transition matrices [18.784763748323513]
多様体熱半群 $Q_t = et$ がグラフ遷移行列 $P$ を反復することによって直接近似できることを示す。
シミュレーションデータ上で提案した推定器の性能を数値的に示す。
論文 参考訳（メタデータ） (2026-05-25T03:20:11Z) - Outsourced diffusion sampling: Efficient posterior inference in latent spaces of generative models [65.71506381302815]
本稿では、$p(mathbfxmidmathbfy) propto p_theta(mathbfx)$ という形式の後続分布からサンプリングするコストを償却する。
多くのモデルや制約に対して、後部ノイズ空間はデータ空間よりも滑らかであり、償却推論により適している。
論文 参考訳（メタデータ） (2025-02-10T19:49:54Z) - TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文 参考訳（メタデータ） (2023-10-29T09:54:03Z) - Policy Gradient Optimal Correlation Search for Variance Reduction in
Monte Carlo simulation and Maximum Optimal Transport [0.0]
我々は、ある微分方程式の解として$f(X_T)$を推定し、$f$がテスト関数であるときに、分散還元のための新しいアルゴリズムを提案する。
新しい推定器は$(f(XT) + f(X2_T))/2$であり、ここでは$X1$と$X2$は$X2$と同じ限界法則を持つが、分散を減らすために経路的に相関している。
論文 参考訳（メタデータ） (2023-07-24T11:37:02Z) - Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum
Minimization [52.25843977506935]
有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。
そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
論文 参考訳（メタデータ） (2022-11-03T14:41:46Z) - Generalization Bounds for Gradient Methods via Discrete and Continuous
Prior [8.76346911214414]
次数$O(frac1n + fracL2nsum_t=1T(gamma_t/varepsilon_t)2)$の新たな高確率一般化境界を示す。
また、あるSGDの変種に対する新しい境界を得ることもできる。
論文 参考訳（メタデータ） (2022-05-27T07:23:01Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Online Robust Regression via SGD on the l1 loss [19.087335681007477]
ストリーミング方式でデータにアクセス可能なオンライン環境において、ロバストな線形回帰問題を考察する。
この研究で、$ell_O( 1 / (1 - eta)2 n )$損失の降下は、汚染された測定値に依存しない$tildeO( 1 / (1 - eta)2 n )$レートで真のパラメータベクトルに収束することを示した。
論文 参考訳（メタデータ） (2020-07-01T11:38:21Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。