論文の概要: Flow Matching in the Low-Noise Regime: Pathologies and a Contrastive Remedy

• arxiv url: http://arxiv.org/abs/2509.20952v1
• Date: Thu, 25 Sep 2025 09:36:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.824862
• Title: Flow Matching in the Low-Noise Regime: Pathologies and a Contrastive Remedy
• Title（参考訳）: 低騒音レジームにおけるフローマッチング : 病理とコントラスト療法
• Authors: Weili Zeng, Yichao Yan,
• Abstract要約: フローマッチングは、生成モデリングと表現学習のための連続時間定式化を提供する。 この枠組みは低雑音体制における根本的な不安定性に悩まされていることを示す。 直接速度回帰を小さな雑音レベルにおける対照的な特徴アライメントに置き換えるハイブリッドトレーニングプロトコルであるLocal Contrastive Flow (LCF)を提案する。
• 参考スコア（独自算出の注目度）: 19.64681328133978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow matching has recently emerged as a powerful alternative to diffusion models, providing a continuous-time formulation for generative modeling and representation learning. Yet, we show that this framework suffers from a fundamental instability in the low-noise regime. As noise levels approach zero, arbitrarily small perturbations in the input can induce large variations in the velocity target, causing the condition number of the learning problem to diverge. This ill-conditioning not only slows optimization but also forces the encoder to reallocate its limited Jacobian capacity toward noise directions, thereby degrading semantic representations. We provide the first theoretical analysis of this phenomenon, which we term the low-noise pathology, establishing its intrinsic link to the structure of the flow matching objective. Building on these insights, we propose Local Contrastive Flow (LCF), a hybrid training protocol that replaces direct velocity regression with contrastive feature alignment at small noise levels, while retaining standard flow matching at moderate and high noise. Empirically, LCF not only improves convergence speed but also stabilizes representation quality. Our findings highlight the critical importance of addressing low-noise pathologies to unlock the full potential of flow matching for both generation and representation learning.
• Abstract（参考訳）: フローマッチングは拡散モデルに代わる強力な代替手段として最近登場し、生成モデリングと表現学習のための連続的な時間的定式化を提供する。 しかし,この枠組みは低雑音体制における根本的な不安定さに悩まされている。 ノイズレベルがゼロに近づくと、入力中のゆらぎが任意に小さくなり、速度目標に大きな変動が生じ、学習問題の条件番号が分岐する。 この条件は最適化を遅くするだけでなく、エンコーダはジャコビアン容量をノイズ方向に再配置させ、意味表現を劣化させる。 我々は,この現象を初めて理論的に解析し,低雑音の病態を表現し,フローマッチング目的の構造と本質的な関連性を確立する。 これらの知見に基づいて,中等度・高雑音下での標準流れマッチングを維持しつつ,相対的特徴アライメントによる直接速度回帰を置き換えるハイブリッドトレーニングプロトコルであるLocal Contrastive Flow (LCF)を提案する。 経験的に、LCFは収束速度を向上するだけでなく、表現品質も安定させる。 本研究は, 生成学習と表現学習の両方において, フローマッチングの潜在能力を最大限に活用するために, 低雑音の病態に対処することの重要性を強調した。

関連論文リスト

• Solving Inverse Problems with FLAIR [59.02385492199431]
  フローベースの潜在生成モデルは、驚くべき品質の画像を生成でき、テキスト・ツー・イメージ生成も可能である。 本稿では,フローベース生成モデルを逆問題の前兆として活用する新しい学習自由変分フレームワークFLAIRを提案する。 標準画像ベンチマークの結果、FLAIRは再現性やサンプルの多様性の観点から、既存の拡散法や流れ法よりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-03T09:29:47Z)
• FlowLoss: Dynamic Flow-Conditioned Loss Strategy for Video Diffusion Models [9.469635938429647]
  ビデオ拡散モデル(VDM)は高品質なビデオを生成することができるが、時間的に一貫した動きを生み出すのにしばしば苦労する。 本研究では,生成した映像から抽出した流れ場を直接比較するFlowLossを提案する。 本研究は,騒音条件付き生成モデルにモーションベース制御を組み込むための実用的な知見を提供する。
  論文  参考訳（メタデータ） (2025-04-20T08:22:29Z)
• ResFlow: Fine-tuning Residual Optical Flow for Event-based High Temporal Resolution Motion Estimation [50.80115710105251]
  イベントカメラは、高時間分解能(HTR)モーション推定に重要な可能性を秘めている。 イベントデータを用いてHTR光流を推定するための残差に基づくパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-12-12T09:35:47Z)
• Improving Consistency Models with Generator-Augmented Flows [16.049476783301724]
  一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。 それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。 本稿では,一貫性モデルから得られたノイズデータを対応する出力へ転送する新しい流れを提案する。
  論文  参考訳（メタデータ） (2024-06-13T20:22:38Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• DiffusionAD: Norm-guided One-step Denoising Diffusion for Anomaly Detection [80.20339155618612]
  DiffusionADは、再構成サブネットワークとセグメンテーションサブネットワークからなる、新しい異常検出パイプラインである。 高速なワンステップデノゲーションパラダイムは、同等の再現品質を維持しながら、数百倍の加速を達成する。 異常の出現の多様性を考慮し、複数のノイズスケールの利点を統合するためのノルム誘導パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-03-15T16:14:06Z)
• Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
  注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。 ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。 我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
  論文  参考訳（メタデータ） (2021-09-24T18:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。