論文の概要: Towards High-Order Mean Flow Generative Models: Feasibility, Expressivity, and Provably Efficient Criteria
- arxiv url: http://arxiv.org/abs/2508.07102v1
- Date: Sat, 09 Aug 2025 21:10:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 21:23:28.701512
- Title: Towards High-Order Mean Flow Generative Models: Feasibility, Expressivity, and Provably Efficient Criteria
- Title（参考訳）: 高次平均流生成モデルに向けて:可能性, 表現性, そしておそらく効率的な基準
- Authors: Yang Cao, Yubin Chen, Zhao Song, Jiahao Zhang,
- Abstract要約: 本稿では,平均加速度場をMeanFlowの目的に組み込む新しい拡張であるSecond-Order MeanFlowに関する理論的研究を紹介する。
まず,平均加速度が1次平均流に類似した一般化整合条件を満たすことを証明し,その実現可能性を確立する。
次に,回路複雑性解析によりその表現性を特徴付け,一様しきい値回路で第2次平均フローサンプリング処理を実現できることを示す。
- 参考スコア（独自算出の注目度）: 14.37317011636007
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Generative modelling has seen significant advances through simulation-free paradigms such as Flow Matching, and in particular, the MeanFlow framework, which replaces instantaneous velocity fields with average velocities to enable efficient single-step sampling. In this work, we introduce a theoretical study on Second-Order MeanFlow, a novel extension that incorporates average acceleration fields into the MeanFlow objective. We first establish the feasibility of our approach by proving that the average acceleration satisfies a generalized consistency condition analogous to first-order MeanFlow, thereby supporting stable, one-step sampling and tractable loss functions. We then characterize its expressivity via circuit complexity analysis, showing that under mild assumptions, the Second-Order MeanFlow sampling process can be implemented by uniform threshold circuits within the $\mathsf{TC}^0$ class. Finally, we derive provably efficient criteria for scalable implementation by leveraging fast approximate attention computations: we prove that attention operations within the Second-Order MeanFlow architecture can be approximated to within $1/\mathrm{poly}(n)$ error in time $n^{2+o(1)}$. Together, these results lay the theoretical foundation for high-order flow matching models that combine rich dynamics with practical sampling efficiency.
- Abstract（参考訳）: ジェネレーティブモデリングは、フローマッチングのようなシミュレーションのないパラダイム、特に、瞬時速度場を平均速度に置き換えて効率的な単一ステップサンプリングを可能にするMeanFlowフレームワークを通じて、大きな進歩を遂げてきた。
本研究では,平均加速度場をMeanFlowの目的に組み込む新たな拡張であるSecond-Order MeanFlowに関する理論的研究を紹介する。
まず,平均加速度が一階のMeanFlowに類似した一般化された一貫性条件を満たすことを証明し,安定かつ一段のサンプリングとトラクタブルな損失関数をサポートすることにより,提案手法の実現可能性を確立する。
次に,回路複雑性解析によりその表現性を特徴付け,第2次平均フローサンプリングプロセスは$\mathsf{TC}^0$クラス内の一様しきい値回路で実装可能であることを示す。
最後に, 高速な注意計算を応用して, スケーラブルな実装の効率の良い基準を導出する: 第二次MeanFlowアーキテクチャにおける注意操作が, 1/\mathrm{poly}(n)$ error in time $n^{2+o(1)}$で近似できることを証明する。
これらの結果は、リッチダイナミクスと実用的なサンプリング効率を組み合わせた高次フローマッチングモデルの理論的基礎を築いた。
関連論文リスト
- SplitMeanFlow: Interval Splitting Consistency in Few-Step Generative Modeling [23.539625950964876]
Flow Matchingのような生成モデルは最先端のパフォーマンスを達成したが、しばしば計算コストのかかる反復サンプリングプロセスによって妨げられている。
この分野の先導的手法であるMeanFlowは、平均速度と瞬間速度を接続する差分IDを強制することによって、この分野を学習する。
この研究において、この微分定式化はより基本的な原理の限定的な特別な場合であると主張する。
SplitMeanFlowは、学習目的として、この代数的一貫性を直接強制する新しいトレーニングフレームワークです。
論文 参考訳（メタデータ） (2025-07-22T16:26:58Z) - Align Your Flow: Scaling Continuous-Time Flow Map Distillation [63.927438959502226]
フローマップは、任意の2つのノイズレベルを1ステップで接続し、すべてのステップカウントで有効に保ちます。
画像生成ベンチマークにおいて、Align Your Flowと呼ばれるフローマップモデルを広範囲に検証する。
テキスト条件付き合成において、既存の非横断的訓練された数ステップのサンプルよりも優れたテキスト間フローマップモデルを示す。
論文 参考訳（メタデータ） (2025-06-17T15:06:07Z) - Mean Flows for One-step Generative Modeling [64.4997821467102]
本稿では,一段階生成モデリングのための原理的かつ効果的なフレームワークを提案する。
ニューラルネットワークトレーニングのガイドには,平均速度と瞬時速度を適切に定義したアイデンティティが導出され,使用される。
提案手法はMeanFlowモデルと呼ばれ,自己完結型であり,事前学習,蒸留,カリキュラム学習は不要である。
論文 参考訳（メタデータ） (2025-05-19T17:59:42Z) - On Computational Limits of FlowAR Models: Expressivity and Efficiency [37.56422161656334]
FlowARは、フローベースと自動回帰機構を統合する最先端アーキテクチャである。
FlowARモデルが生成する最大の特徴写像が次元$n倍のn倍のc$を持つ場合、FlowARモデルはしきい値回路のファミリーでシミュレート可能であることを示す。
また、FlowARモデル計算がほぼ2次時間で実現できる条件も同定する。
論文 参考訳（メタデータ） (2025-02-23T08:07:35Z) - On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。
RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。
本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
論文 参考訳（メタデータ） (2024-10-19T02:36:11Z) - Consistency Flow Matching: Defining Straight Flows with Velocity Consistency [97.28511135503176]
本稿では,速度場の自己整合性を明示する新しいFM法であるConsistency Flow Matching(Consistency-FM)を紹介する。
予備実験により、一貫性FMは、一貫性モデルよりも4.4倍速く収束することにより、トレーニング効率を著しく向上することが示された。
論文 参考訳（メタデータ） (2024-07-02T16:15:37Z) - Training Energy-Based Normalizing Flow with Score-Matching Objectives [36.0810550035231]
エネルギーベース正規化フロー(EBFlow)と呼ばれる新しいフローベースモデリング手法を提案する。
本研究では,EBFlowをスコアマッチング目的に最適化することにより,線形変換に対するヤコビ行列式の計算を完全に回避できることを実証する。
論文 参考訳（メタデータ） (2023-05-24T15:54:29Z) - GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
光フロー推定学習のためのGMFlowフレームワークを提案する。
機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。
我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
論文 参考訳（メタデータ） (2021-11-26T18:59:56Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳（メタデータ） (2020-11-14T09:51:51Z) - OT-Flow: Fast and Accurate Continuous Normalizing Flows via Optimal
Transport [8.468007443062751]
正規化フローは任意の確率分布と標準正規分布の間の可逆写像である。
OT-Flowは、より広範なCNFの使用を制限する2つの重要な計算課題に取り組む。
5つの高次元密度推定および生成モデリングタスクにおいて、OT-Flowは最先端CNFと競合して動作する。
論文 参考訳（メタデータ） (2020-05-29T22:31:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。