論文の概要: Contrastive Flow Matching
- arxiv url: http://arxiv.org/abs/2506.05350v1
- Date: Thu, 05 Jun 2025 17:59:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-06 21:53:49.91529
- Title: Contrastive Flow Matching
- Title(参考訳): コントラストフローマッチング
- Authors: George Stoica, Vivek Ramanujan, Xiang Fan, Ali Farhadi, Ranjay Krishna, Judy Hoffman,
- Abstract要約: コントラストフローマッチング(Contrastive Flow Matching)は、全ての条件フローに対して一意性を明示するフローマッチング対象の拡張である。
提案手法は,任意のサンプル対からの予測フロー間の相違を最大化するための対照的な目的を与える。
比較フローマッチングによるトレーニングモデル(1)は最大9倍のトレーニング速度,(2)は最大5倍のノイズ除去ステップ,(3)FIDを最大8.9以下に向上させる。
- 参考スコア(独自算出の注目度): 61.60002028726023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unconditional flow-matching trains diffusion models to transport samples from a source distribution to a target distribution by enforcing that the flows between sample pairs are unique. However, in conditional settings (e.g., class-conditioned models), this uniqueness is no longer guaranteed--flows from different conditions may overlap, leading to more ambiguous generations. We introduce Contrastive Flow Matching, an extension to the flow matching objective that explicitly enforces uniqueness across all conditional flows, enhancing condition separation. Our approach adds a contrastive objective that maximizes dissimilarities between predicted flows from arbitrary sample pairs. We validate Contrastive Flow Matching by conducting extensive experiments across varying model architectures on both class-conditioned (ImageNet-1k) and text-to-image (CC3M) benchmarks. Notably, we find that training models with Contrastive Flow Matching (1) improves training speed by a factor of up to 9x, (2) requires up to 5x fewer de-noising steps and (3) lowers FID by up to 8.9 compared to training the same models with flow matching. We release our code at: https://github.com/gstoica27/DeltaFM.git.
- Abstract(参考訳): 非条件流マッチング列車は、サンプルペア間のフローがユニークであることを強制して、サンプルをソース分布からターゲット分布へ輸送する拡散モデルである。
しかし、条件付き設定(例えば、クラス条件付きモデル)では、このユニークさはもはや保証されない。
コントラストフローマッチング(Contrastive Flow Matching)は,フローマッチング対象の拡張であり,全ての条件流に対して一意性を明示し,条件分離を増強する。
提案手法は,任意のサンプル対からの予測フロー間の相違を最大化するための対照的な目的を与える。
クラス条件 (ImageNet-1k) とテキスト・ツー・イメージ (CC3M) のベンチマークを用いて, 様々なモデルアーキテクチャにわたる広範な実験を行うことで, コントラストフローマッチングを検証する。
特に, コントラストフローマッチングを用いたトレーニングモデルでは, 最大9倍, 最大5倍, 最大8.9以下でトレーニング速度が向上することがわかった。
コードについては、https://github.com/gstoica27/DeltaFM.git.comで公開しています。
関連論文リスト
- Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳(メタデータ) (2024-10-17T16:42:12Z) - Discrete Flow Matching [74.04153927689313]
本稿では,離散データ生成に特化して設計された新しい離散フローパラダイムを提案する。
我々のアプローチは、非自己回帰的な方法で高品質な離散データを生成することができる。
論文 参考訳(メタデータ) (2024-07-22T12:33:27Z) - Consistency Flow Matching: Defining Straight Flows with Velocity Consistency [97.28511135503176]
本稿では,速度場の自己整合性を明示する新しいFM法であるConsistency Flow Matching(Consistency-FM)を紹介する。
予備実験により、一貫性FMは、一貫性モデルよりも4.4倍速く収束することにより、トレーニング効率を著しく向上することが示された。
論文 参考訳(メタデータ) (2024-07-02T16:15:37Z) - Improving Consistency Models with Generator-Augmented Flows [16.049476783301724]
一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。
それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。
本稿では,一貫性モデルから得られたノイズデータを対応する出力へ転送する新しい流れを提案する。
論文 参考訳(メタデータ) (2024-06-13T20:22:38Z) - Flow map matching with stochastic interpolants: A mathematical framework for consistency models [15.520853806024943]
フローマップマッチングは、基礎となる生成モデルの2時間フローマップを学ぶための原則化されたフレームワークである。
FMMは,高速サンプリングのための既存手法の幅広いクラスを統一し,拡張することを示す。
論文 参考訳(メタデータ) (2024-06-11T17:41:26Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳(メタデータ) (2023-11-22T15:07:59Z) - Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。
ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。
我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
論文 参考訳(メタデータ) (2021-09-24T18:02:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。