論文の概要: On Fitting Flow Models with Large Sinkhorn Couplings

• arxiv url: http://arxiv.org/abs/2506.05526v2
• Date: Mon, 09 Jun 2025 12:15:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 14:13:04.155019
• Title: On Fitting Flow Models with Large Sinkhorn Couplings
• Title（参考訳）: 大型シンクホーンカップリングによる流れのフィッティングモデルについて
• Authors: Michal Klein, Alireza Mousavi-Hosseini, Stephen Zhang, Marco Cuturi,
• Abstract要約: フローモデルは、1つのモーダリティ(例えばノイズ)から別のモーダリティ(例えば画像)へ徐々にデータを変換する。 近年の研究では、$n$ソースと$n$ターゲットポイントのミニバッチをサンプリングし、OTソルバを使用してそれらを再注文してより良いペアを作る方法が提案されている。 エントロピーの正則化が低い大きなシンクホーンカップリングを組み込む場合, 流れモデルに大きな利点があることが示される。
• 参考スコア（独自算出の注目度）: 21.33171004803672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow models transform data gradually from one modality (e.g. noise) onto another (e.g. images). Such models are parameterized by a time-dependent velocity field, trained to fit segments connecting pairs of source and target points. When the pairing between source and target points is given, training flow models boils down to a supervised regression problem. When no such pairing exists, as is the case when generating data from noise, training flows is much harder. A popular approach lies in picking source and target points independently. This can, however, lead to velocity fields that are slow to train, but also costly to integrate at inference time. In theory, one would greatly benefit from training flow models by sampling pairs from an optimal transport (OT) measure coupling source and target, since this would lead to a highly efficient flow solving the Benamou and Brenier dynamical OT problem. In practice, recent works have proposed to sample mini-batches of $n$ source and $n$ target points and reorder them using an OT solver to form better pairs. These works have advocated using batches of size $n\approx 256$, and considered OT solvers that return couplings that are either sharp (using e.g. the Hungarian algorithm) or blurred (using e.g. entropic regularization, a.k.a. Sinkhorn). We follow in the footsteps of these works by exploring the benefits of increasing $n$ by three to four orders of magnitude, and look more carefully on the effect of the entropic regularization $\varepsilon$ used in the Sinkhorn algorithm. Our analysis is facilitated by new scale invariant quantities to report the sharpness of a coupling, while our sharded computations across multiple GPU or GPU nodes allow scaling up $n$. We show that in both synthetic and image generation tasks, flow models greatly benefit when fitted with large Sinkhorn couplings, with a low entropic regularization $\varepsilon$.
• Abstract（参考訳）: フローモデルは、あるモダリティ(egノイズ)から別のモダリティ(eg画像)へ徐々にデータを変換する。 このようなモデルは時間依存の速度場によってパラメータ化され、ソースとターゲットポイントのペアを接続するセグメントに適合するように訓練される。 ソースとターゲットポイントのペアリングが与えられると、トレーニングフローモデルは、教師付き回帰問題に沸騰する。 このようなペアリングが存在しない場合、ノイズからデータを生成する場合のように、トレーニングフローはずっと難しい。 一般的なアプローチは、ソースとターゲットポイントを独立して選択することにある。 しかし、これはトレーニングが遅いベロシティフィールドにつながる可能性があるが、推論時に統合するのにもコストがかかる。 理論的には、ベナモとブレニエの動的 OT 問題を解くために最適な輸送源と目標のペアをサンプリングすることで、フローモデルのトレーニングの恩恵を受ける。 実際には、最近の研究では、$n$ソースと$n$ターゲットポイントのミニバッチをサンプリングし、OTソルバを使用してそれらを再注文してより良いペアを作る方法が提案されている。 これらの研究は、サイズ$n\approx 256$のバッチを使用することを提唱し、鋭い(例えばハンガリーのアルゴリズム)またはぼやけた(例えばシンクホーンのエントロピー正規化)結合を返すOTソルバを検討した。 これらの研究の足跡に、n$を3桁から4桁に増やすことの利点を探求し、シンクホーンアルゴリズムで使われるエントロピー正則化$\varepsilon$の効果をより慎重に検討する。 我々の分析は、カップリングのシャープさを報告するために、新しいスケール不変量によって促進される一方、複数のGPUまたはGPUノードにわたるシャード計算により、$n$のスケーリングが可能になる。 合成タスクと画像生成タスクの両方において,フローモデルは,低エントロピー正規化$\varepsilon$で,大きなシンクホーンカップリングを組み込んだ場合,大いに有用であることを示す。

関連論文リスト

• Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis [55.561961365113554]
  3D Gaussian Splatting (3DGS) は新規ビュー合成(NVS)において顕著な効果を示した 本稿では,Self-Ensembling Gaussian Splatting(SE-GS)を紹介する。 我々は,トレーニング中に不確実性を認識した摂動戦略を導入することで,自己理解を実現する。 LLFF, Mip-NeRF360, DTU, MVImgNetデータセットによる実験結果から, 本手法がNVSの品質を向上させることを示す。
  論文  参考訳（メタデータ） (2024-10-31T18:43:48Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Smoothly Giving up: Robustness for Simple Models [30.56684535186692]
  このようなモデルをトレーニングするアルゴリズムの例としては、ロジスティック回帰とブースティングがある。 我々は、標準凸損失関数間のチューニングを行う、$Served-Servedジョイント凸損失関数を用いて、そのようなモデルを堅牢に訓練する。 また、ロジスティック回帰のためのCOVID-19データセットを強化し、複数の関連ドメインにまたがる効果のアプローチを強調します。
  論文  参考訳（メタデータ） (2023-02-17T19:48:11Z)
• An Improved Analysis of Gradient Tracking for Decentralized Machine Learning [34.144764431505486]
  トレーニングデータが$n$エージェントに分散されるネットワーク上での分散機械学習を検討する。 エージェントの共通の目標は、すべての局所損失関数の平均を最小化するモデルを見つけることである。 ノイズのない場合、$p$を$mathcalO(p-1)$から$mathcalO(p-1)$に改善します。
  論文  参考訳（メタデータ） (2022-02-08T12:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。