論文の概要: Improving Flow Matching by Aligning Flow Divergence
- arxiv url: http://arxiv.org/abs/2602.00869v1
- Date: Sat, 31 Jan 2026 19:07:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.44263
- Title: Improving Flow Matching by Aligning Flow Divergence
- Title(参考訳): 流れの多様性の調整による流れの整合性向上
- Authors: Yuhao Huang, Taos Transue, Shih-Hsin Wang, William Feldman, Hong Zhang, Bao Wang,
- Abstract要約: 条件付きフローマッチング(CFM)は、フローベース生成モデルをトレーニングする上で、効率的でシミュレーションのないアプローチである。
学習された確率経路と正確な確率経路の誤差に対する新しい偏微分方程式を解とともに導入する。
CFM損失と関連する発散損失の組合せにより, 2つの確率経路間の全変動ギャップが上界していることが示される。
- 参考スコア(独自算出の注目度): 10.1227026659152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conditional flow matching (CFM) stands out as an efficient, simulation-free approach for training flow-based generative models, achieving remarkable performance for data generation. However, CFM is insufficient to ensure accuracy in learning probability paths. In this paper, we introduce a new partial differential equation characterization for the error between the learned and exact probability paths, along with its solution. We show that the total variation gap between the two probability paths is bounded above by a combination of the CFM loss and an associated divergence loss. This theoretical insight leads to the design of a new objective function that simultaneously matches the flow and its divergence. Our new approach improves the performance of the flow-based generative model by a noticeable margin without sacrificing generation efficiency. We showcase the advantages of this enhanced training approach over CFM on several important benchmark tasks, including generative modeling for dynamical systems, DNA sequences, and videos. Code is available at \href{https://github.com/Utah-Math-Data-Science/Flow_Div_Matching}{Utah-Math-Data-Science}.
- Abstract(参考訳): 条件付きフローマッチング(CFM)は、フローベースの生成モデルをトレーニングするための効率的でシミュレーションのないアプローチであり、データ生成において顕著な性能を達成する。
しかし、CFMは学習確率パスの精度を確保するには不十分である。
本稿では,学習された確率経路と正確な確率経路の誤差に対する新しい偏微分方程式とその解について述べる。
CFM損失と関連する発散損失の組合せにより, 2つの確率経路間の全変動ギャップが上界していることが示される。
この理論的な洞察は、フローとその分岐と同時に一致する新しい目的関数の設計につながる。
我々の新しいアプローチは、生成効率を犠牲にすることなく、顕著なマージンでフローベース生成モデルの性能を向上させる。
動的システムの生成モデリング,DNAシークエンス,ビデオなど,いくつかの重要なベンチマークタスクにおいて,CFMよりも強化されたトレーニングアプローチの利点を示す。
コードは \href{https://github.com/Utah-Math-Data-Science/Flow_Div_Matching}{Utah-Math-Data-Science} で公開されている。
関連論文リスト
- Simulation-Free Training of Neural ODEs on Paired Data [20.36333430055869]
我々は,NODEのシミュレーションフリートレーニングにフローマッチングフレームワークを用いる。
ペアデータ間で直接フローマッチングを適用することは、しばしば不定義のフローにつながることを示す。
データペアの埋め込み空間にフローマッチングを適用するための簡単な拡張を提案する。
論文 参考訳(メタデータ) (2024-10-30T11:18:27Z) - Local Flow Matching Generative Models [19.859984725284896]
フローマッチング(英: Flow Matching, FM)は、2つの分布を補間する連続的かつ非可逆的な流れを学習するためのシミュレーション不要な手法である。
FMサブモデルのシーケンスを連続的に学習するLFM(Local Flow Matching)と呼ばれるステップワイズFMモデルを提案する。
FMと比較して, LFMの訓練効率と競争的生成性能の改善を実証的に実証した。
論文 参考訳(メタデータ) (2024-10-03T14:53:10Z) - Flow map matching with stochastic interpolants: A mathematical framework for consistency models [15.520853806024943]
フローマップマッチングは、基礎となる生成モデルの2時間フローマップを学ぶための原則化されたフレームワークである。
FMMは,高速サンプリングのための既存手法の幅広いクラスを統一し,拡張することを示す。
論文 参考訳(メタデータ) (2024-06-11T17:41:26Z) - Optimal Flow Matching: Learning Straight Trajectories in Just One Step [89.37027530300617]
我々は,新しいtextbf Optimal Flow Matching (OFM) アプローチを開発し,理論的に正当化する。
これは2次輸送のための直列のOT変位をFMの1ステップで回復することを可能にする。
提案手法の主な考え方は,凸関数によってパラメータ化されるFMのベクトル場の利用である。
論文 参考訳(メタデータ) (2024-03-19T19:44:54Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳(メタデータ) (2023-11-22T15:07:59Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳(メタデータ) (2023-10-16T05:49:28Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳(メタデータ) (2023-10-04T04:26:33Z) - Improving and generalizing flow-based generative models with minibatch
optimal transport [90.01613198337833]
連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。
CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。
我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
論文 参考訳(メタデータ) (2023-02-01T14:47:17Z) - Flow Matching for Generative Modeling [44.66897082688762]
フローマッチングは、連続正規化フロー(CNF)のトレーニングのためのシミュレーション不要なアプローチである
拡散経路を持つFMを用いることで、より堅牢で安定した拡散モデルの代替となることが判明した。
ImageNet上でFlow Matchingを使用したCNFのトレーニングは、可能性とサンプル品質の両方の観点から最先端のパフォーマンスをもたらす。
論文 参考訳(メタデータ) (2022-10-06T08:32:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。