論文の概要: Flow Matching with Semidiscrete Couplings

• arxiv url: http://arxiv.org/abs/2509.25519v1
• Date: Mon, 29 Sep 2025 21:22:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.329588
• Title: Flow Matching with Semidiscrete Couplings
• Title（参考訳）: 半離散結合による流れのマッチング
• Authors: Alireza Mousavi-Hosseini, Stephen Y. Zhang, Michal Klein, Marco Cuturi,
• Abstract要約: 時間依存速度場としてパラメータ化された流れモデルは、ODEを統合することでノイズからデータを生成することができる。 これらのモデルは、しばしばフローマッチング、すなわちランダムなノイズ対とターゲットポイントをサンプリングすることによって訓練される。 理論上は有望ではあるが、OT-FM(OT flow matching)アプローチは実際には広く使われていない。
• 参考スコア（独自算出の注目度）: 29.980130720112726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow models parameterized as time-dependent velocity fields can generate data from noise by integrating an ODE. These models are often trained using flow matching, i.e. by sampling random pairs of noise and target points $(\mathbf{x}_0,\mathbf{x}_1)$ and ensuring that the velocity field is aligned, on average, with $\mathbf{x}_1-\mathbf{x}_0$ when evaluated along a segment linking $\mathbf{x}_0$ to $\mathbf{x}_1$. While these pairs are sampled independently by default, they can also be selected more carefully by matching batches of $n$ noise to $n$ target points using an optimal transport (OT) solver. Although promising in theory, the OT flow matching (OT-FM) approach is not widely used in practice. Zhang et al. (2025) pointed out recently that OT-FM truly starts paying off when the batch size $n$ grows significantly, which only a multi-GPU implementation of the Sinkhorn algorithm can handle. Unfortunately, the costs of running Sinkhorn can quickly balloon, requiring $O(n^2/\varepsilon^2)$ operations for every $n$ pairs used to fit the velocity field, where $\varepsilon$ is a regularization parameter that should be typically small to yield better results. To fulfill the theoretical promises of OT-FM, we propose to move away from batch-OT and rely instead on a semidiscrete formulation that leverages the fact that the target dataset distribution is usually of finite size $N$. The SD-OT problem is solved by estimating a dual potential vector using SGD; using that vector, freshly sampled noise vectors at train time can then be matched with data points at the cost of a maximum inner product search (MIPS). Semidiscrete FM (SD-FM) removes the quadratic dependency on $n/\varepsilon$ that bottlenecks OT-FM. SD-FM beats both FM and OT-FM on all training metrics and inference budget constraints, across multiple datasets, on unconditional/conditional generation, or when using mean-flow models.
• Abstract（参考訳）: 時間依存速度場としてパラメータ化された流れモデルは、ODEを統合することでノイズからデータを生成することができる。 これらのモデルは、例えば、ランダムなノイズ対とターゲットポイントの$(\mathbf{x}_0,\mathbf{x}_1)$をサンプリングし、速度場が平均的に、$\mathbf{x}_1-\mathbf{x}_0$と、$\mathbf{x}_0$を$\mathbf{x}_1$にリンクすることで評価される。 これらのペアはデフォルトでは独立してサンプリングされるが、最適なトランスポート(OT)ソルバを使用して、$n$ノイズと$n$ターゲットポイントのバッチをマッチングすることで、より慎重に選択することもできる。 理論上は有望ではあるが、OT-FM(OT flow matching)アプローチは実際には広く使われていない。 Zhang et al (2025) は先日,バッチサイズが$n$が大幅に大きくなると OT-FM が真に支払を開始し,Sinkhorn アルゴリズムのマルチGPU実装のみが処理可能であることを指摘した。 残念ながら、Sinkhornの実行コストは急速に変動し、速度場に合うために使われる$n$ペアごとに$O(n^2/\varepsilon^2)$演算が必要になる。 OT-FMの理論的約束を満たすために、我々はバッチOTから離れ、ターゲットデータセットの分布が通常有限サイズ$N$であるという事実を活用する半離散的な定式化に頼ることを提案する。 SD-OT問題は、SGDを用いて双対ポテンシャルベクトルを推定することにより解決され、そのベクトルを用いて、列車時に新しくサンプリングされたノイズベクトルを最大内部積探索(MIPS)のコストでデータポイントとマッチングすることができる。 半離散FM(SD-FM)は、OT-FMのボトルネックとなる$n/\varepsilon$の二次的依存を取り除く。 SD-FMは、トレーニングメトリクスと推論予算の制約、複数のデータセット、無条件/条件生成、あるいは平均フローモデルを使用する場合の両方でFMとOT-FMを上回ります。

関連論文リスト

• Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
  我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
  論文  参考訳（メタデータ） (2025-06-30T13:27:39Z)
• On Fitting Flow Models with Large Sinkhorn Couplings [21.33171004803672]
  フローモデルは、1つのモーダリティ(例えばノイズ)から別のモーダリティ(例えば画像)へ徐々にデータを変換する。 近年の研究では、$n$ソースと$n$ターゲットポイントのミニバッチをサンプリングし、OTソルバを使用してそれらを再注文してより良いペアを作る方法が提案されている。 エントロピーの正則化が低い大きなシンクホーンカップリングを組み込む場合, 流れモデルに大きな利点があることが示される。
  論文  参考訳（メタデータ） (2025-06-05T19:19:01Z)
• Distilling Two-Timed Flow Models by Separately Matching Initial and Terminal Velocities [8.766883138603765]
  TTFM蒸留における新しい損失関数として,Emphinitial/terminal velocity matching (ITVM) lossを提案する。 予備実験により、これらの損失は、複数のタイプのデータセットにおいて、より少ないステップ生成性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2025-05-02T10:17:49Z)
• Outsourced diffusion sampling: Efficient posterior inference in latent spaces of generative models [65.71506381302815]
  本稿では、$p(mathbfxmidmathbfy) propto p_theta(mathbfx)$ という形式の後続分布からサンプリングするコストを償却する。 多くのモデルや制約に対して、後部ノイズ空間はデータ空間よりも滑らかであり、償却推論により適している。
  論文  参考訳（メタデータ） (2025-02-10T19:49:54Z)
• Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
  本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。 各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。 第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2023-02-18T09:24:15Z)
• Multimeasurement Generative Models [7.502947376736449]
  我々は、密度$p_X$ in $mathbbRd$を未知分布からサンプリングする問題を学習とサンプリングの問題を$p_mathbfY$ in $mathbbRMd$とする。
  論文  参考訳（メタデータ） (2021-12-18T02:11:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。