論文の概要: On Variance Reduction in Learning Mean Flows

• arxiv url: http://arxiv.org/abs/2605.09235v1
• Date: Sun, 10 May 2026 00:32:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.132516
• Title: On Variance Reduction in Learning Mean Flows
• Title（参考訳）: 学習平均流の変動低減について
• Authors: Juanwu Lu, Ziran Wang,
• Abstract要約: 平均フロートレーニングは不安定で、非減少損失と非バウンド勾配のばらつきがある。 我々は,この病態を条件速度場の誤用とみなす理論を確立した。 我々は、閉形式の最適係数を導出し、並列処理における修正の族が、同じ最適化の異なる実践的実現に対応することを示す。
• 参考スコア（独自算出の注目度）: 7.705995307512647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-step generative modeling has emerged as a leading approach to amortize the inference cost of diffusion and flow-matching models. Among distillation-free methods, MeanFlow training is notoriously unstable, with non-decreasing loss and unbounded gradient variance. In this work, we establish a theory that attributes this pathology to a misuse of the conditional velocity field: it plays two distinct statistical roles in the loss, both as an unbiased regression target and as a Monte Carlo control variate inside a Jacobi-vector product, with the original loss assigning the wrong coefficient to the latter. We derive the optimal coefficient in closed form, and show that a family of fixes in concurrent works corresponds to different practical realizations of the same optimum. A controlled sweep of this coefficient on two-dimensional benchmarks and on a latent Diffusion Transformer recovers the predicted bias-variance ordering. The optimal coefficient yields up to a %54 improvement in sample quality on two-dimensional benchmarks and a monotone FID trend at every matched-step DiT checkpoint. Crucially, the same DiT measurement also reveals a quantitative FID-MSE landscape mismatch: although gradient variance is minimized at an interior coefficient value, the coefficient that minimizes FID prefers the direct use of conditional velocity.
• Abstract（参考訳）: 一段階生成モデリングは拡散および流れマッチングモデルの推論コストを償却する主要なアプローチとして現れてきた。 無蒸留法の中で、MeanFlowのトレーニングは不安定であり、非減少損失と非有界勾配のばらつきがある。 本研究では,この病態を条件付速度場の誤用とみなす理論を確立する。これは,不偏回帰目標とモンテカルロ制御変数の双方において,損失に異なる2つの統計的役割を担い,元の損失が後者に誤った係数を割り当てる理論である。 我々は、閉形式の最適係数を導出し、並列処理における修正の族が、同じ最適化の異なる実践的実現に対応することを示す。 この係数を2次元ベンチマークと潜時拡散変換器で制御し、予測バイアス分散順序付けを復元する。 最適係数は2次元ベンチマークでのサンプル品質を最大54改善し、一致したステップのDiTチェックポイント毎にモノトンFID傾向を示す。 内部係数値では勾配分散が最小化されているが、FIDを最小化する係数は条件速度の直接利用を好んでいる。

関連論文リスト

• Temporal Pair Consistency for Variance-Reduced Flow Matching [13.328987133593154]
  TPC(Temporal Pair Consistency)は、同じ確率経路に沿ってペア化された時間ステップで速度予測を結合する軽量な分散還元原理である。 フローマッチング内で確立されたTPCは、複数の解像度でCIFAR-10とImageNetのサンプル品質と効率を改善する。
  論文  参考訳（メタデータ） (2026-02-04T00:05:21Z)
• Variational Entropic Optimal Transport [67.76725267984578]
  本稿では,ドメイン翻訳問題に対する変分エントロピー最適輸送(VarEOT)を提案する。 VarEOTは、補助正の正規化子上のトラクタブルな一般化として、log-partition $log mathbbE[exp(cdot)$の正確な変分再構成に基づいている。 合成データと画像と画像の変換に関する実験は、競争力のあるか、あるいはより良い翻訳品質を示す。
  論文  参考訳（メタデータ） (2026-02-02T15:48:44Z)
• Statistical Properties of Rectified Flow [0.7136933021609079]
  整流流は2つの分布間の輸送マップを定義する方法である。 本研究では, 整流流れの構造特性について検討した。 通常の非パラメトリック回帰や密度推定よりも速い速度で収束を確立することができる。
  論文  参考訳（メタデータ） (2025-11-05T05:09:12Z)
• Malliavin Calculus with Weak Derivatives for Counterfactual Stochastic Optimization [16.179901221618156]
  本研究では,不特定雑音勾配情報に基づく条件損失関数の対実的最適化について検討する。 拡散過程の条件損失函数は、スコロホッド積分として正確に表現され、古典的モンテカルロに匹敵する分散をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-09-30T21:37:54Z)
• On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
  Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。 本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Joint control variate for faster black-box variational inference [32.38477249925875]
  ブラックボックスの変分推論性能は、高ばらつきの勾配推定器の使用によって妨げられることがある。 この分散は、データサブサンプリングとモンテカルロサンプリングの2つのランダム性源に由来する。
  論文  参考訳（メタデータ） (2022-10-13T18:36:20Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。