論文の概要: Gradient Variance Reveals Failure Modes in Flow-Based Generative Models

• arxiv url: http://arxiv.org/abs/2510.18118v1
• Date: Mon, 20 Oct 2025 21:37:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.636011
• Title: Gradient Variance Reveals Failure Modes in Flow-Based Generative Models
• Title（参考訳）: フローベース生成モデルにおけるグラジエント変動による故障モードの解明
• Authors: Teodora Reu, Sixtine Dromigny, Michael Bronstein, Francisco Vargas,
• Abstract要約: 本稿では, ソース分布とターゲット分布の直線的トラジェクトリを持つ ODE ベクトル場を学習し, ほぼ一段階の推論を可能にすることを示す。 トレーニング補間体が交差しても記憶ベクトル場が存在し、ストレートパスの目的を最適化することが、この未定義の場に収束することを証明する。
• 参考スコア（独自算出の注目度）: 2.4223685315022867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rectified Flows learn ODE vector fields whose trajectories are straight between source and target distributions, enabling near one-step inference. We show that this straight-path objective conceals fundamental failure modes: under deterministic training, low gradient variance drives memorization of arbitrary training pairings, even when interpolant lines between pairs intersect. To analyze this mechanism, we study Gaussian-to-Gaussian transport and use the loss gradient variance across stochastic and deterministic regimes to characterize which vector fields optimization favors in each setting. We then show that, in a setting where all interpolating lines intersect, applying Rectified Flow yields the same specific pairings at inference as during training. More generally, we prove that a memorizing vector field exists even when training interpolants intersect, and that optimizing the straight-path objective converges to this ill-defined field. At inference, deterministic integration reproduces the exact training pairings. We validate our findings empirically on the CelebA dataset, confirming that deterministic interpolants induce memorization, while the injection of small noise restores generalization.
• Abstract（参考訳）: 整流フローは、ソースとターゲットの分布の間に直線的な軌道を持つODEベクトル場を学習し、ほぼ1ステップの推論を可能にする。 決定論的トレーニングの下では、低勾配の分散は、ペア間の補間線が交差する場合でも、任意のトレーニングペアの記憶を促進する。 このメカニズムを解析するために、ガウス-ガウス間の輸送について検討し、確率的および決定論的条件間での損失勾配の分散を用いて、各設定においてどのベクトル場最適化が好ましいかを特徴づける。 次に、すべての補間線が交差する環境で、Rectified Flowを適用すると、トレーニング中の推論で同じ特定のペアが生成されることを示す。 より一般的には、トレーニング補間体が交わるときでさえ記憶ベクトル場が存在し、直線パスの目的を最適化することが、この不定義の場に収束することを証明する。 推論において、決定論的統合は正確なトレーニングペアリングを再現する。 我々は,CelebAデータセット上で実験により得られた知見を検証し,決定論的補間剤が記憶を誘導し,小さなノイズの注入が一般化を回復することを確認した。

関連論文リスト

• Variational Rectified Flow Matching [100.63726791602049]
  多モード速度ベクトル場をモデル化して古典的整流流マッチングを改良する。 変動補正フローマッチングが有意な結果をもたらす合成データについて述べる。
  論文  参考訳（メタデータ） (2025-02-13T18:59:15Z)
• Flow Matching: Markov Kernels, Stochastic Processes and Transport Plans [1.9766522384767222]
  フローマッチング技術は、逆問題の解決に利用できる。 逆問題の解法として,フローマッチングが有効であることを示す。 本稿では,連続正規化フローとスコアマッチング手法について簡潔に述べる。
  論文  参考訳（メタデータ） (2025-01-28T10:28:17Z)
• On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
  Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。 本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• The High Line: Exact Risk and Learning Rate Curves of Stochastic Adaptive Learning Rate Algorithms [8.681909776958184]
  本研究では,高次元最適化問題の大規模なクラスにおいて,学習速度と学習速度のダイナミクスを解析するためのフレームワークを開発する。 我々は、ODEのシステムに対する決定論的解という観点から、リスクと学習率曲線の正確な表現を与える。 最小二乗問題に対する最適正則線探索とAdaGrad-Normの2つの適応学習率について詳細に検討する。
  論文  参考訳（メタデータ） (2024-05-30T00:27:52Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
  そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。 幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
  論文  参考訳（メタデータ） (2022-08-19T19:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。