論文の概要: Sinkhorn-Drifting Generative Models
- arxiv url: http://arxiv.org/abs/2603.12366v1
- Date: Thu, 12 Mar 2026 18:33:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-16 17:38:11.723561
- Title: Sinkhorn-Drifting Generative Models
- Title(参考訳): シンクホーンドリフト生成モデル
- Authors: Ping He, Om Khangaonkar, Hamed Pirsiavash, Yikun Bai, Soheil Kolouri,
- Abstract要約: シンクホーンの発散に伴う「漂流」生成ダイナミクスと勾配流
ドリフトはカーネル温度に対する感受性を低下させ、生成品質を1段階改善する。
これらの理論的な利得は、実践における高温の強い改善につながっている。
- 参考スコア(独自算出の注目度): 27.763380775285466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We establish a theoretical link between the recently proposed "drifting" generative dynamics and gradient flows induced by the Sinkhorn divergence. In a particle discretization, the drift field admits a cross-minus-self decomposition: an attractive term toward the target distribution and a repulsive/self-correction term toward the current model, both expressed via one-sided normalized Gibbs kernels. We show that Sinkhorn divergence yields an analogous cross-minus-self structure, but with each term defined by entropic optimal-transport couplings obtained through two-sided Sinkhorn scaling (i.e., enforcing both marginals). This provides a precise sense in which drifting acts as a surrogate for a Sinkhorn-divergence gradient flow, interpolating between one-sided normalization and full two-sided Sinkhorn scaling. Crucially, this connection resolves an identifiability gap in prior drifting formulations: leveraging the definiteness of the Sinkhorn divergence, we show that zero drift (equilibrium of the dynamics) implies that the model and target measures match. Experiments show that Sinkhorn drifting reduces sensitivity to kernel temperature and improves one-step generative quality, trading off additional training time for a more stable optimization, without altering the inference procedure used by drift methods. These theoretical gains translate to strong low-temperature improvements in practice: on FFHQ-ALAE at the lowest temperature setting we evaluate, Sinkhorn drifting reduces mean FID from 187.7 to 37.1 and mean latent EMD from 453.3 to 144.4, while on MNIST it preserves full class coverage across the temperature sweep. Project page: https://mint-vu.github.io/SinkhornDrifting/
- Abstract(参考訳): 我々は、最近提案された「ドリフト」生成力学とシンクホーンの発散によって誘導される勾配流との理論的関連性を確立する。
粒子の離散化において、ドリフト場は、ターゲット分布に対する魅力的な項と、現在のモデルに対する反発的・自己補正項という、片側正規化ギブス核を介して表現されるクロスミナス自己分解を許容する。
シンクホーンの発散は類似のクロスミナス自己構造をもたらすが、それぞれの項は両面のシンクホーンスケーリングによって得られるエントロピックな最適輸送結合によって定義される。
これは、ドリフトがシンクホーン偏移勾配流の代理として機能し、一方の正規化と完全な両側のシンクホーンスケーリングの間を補間する正確な感覚を与える。
シンクホーン分岐の定性を利用して、ゼロドリフト(力学の平衡)がモデルと目標測度が一致することを示す。
実験により、シンクホーンドリフトは、ドリフト法で用いられる推論手順を変更することなく、カーネル温度に対する感度を低下させ、1段階の生成品質を向上し、より安定した最適化のために追加のトレーニング時間を外すことが示されている。
FFHQ-ALAEで評価した最低温度設定では、シンクホーンドリフトは平均FIDを187.7から37.1に減らし、平均潜水型EMDを453.3から144.4に減らし、MNISTでは全クラスをカバーする。
プロジェクトページ: https://mint-vu.github.io/SinkhornDrifting/
関連論文リスト
- OmniForcing: Unleashing Real-time Joint Audio-Visual Generation [51.031726911410594]
最近のジョイントオーディオ・視覚拡散モデルは、優れた生成品質を実現するが、高いレイテンシーに悩まされる。
OmniForcingは、オフラインの双方向拡散モデルを高忠実度ストリーミングオートレジェネレータに蒸留する最初のフレームワークである。
論文 参考訳(メタデータ) (2026-03-12T08:17:36Z) - Generative Drifting is Secretly Score Matching: a Spectral and Variational Perspective [33.2175112734242]
ドリフトによる生成モデリングは、カーネルベースのドリフト演算子を通じて最先端のワンステップ画像生成を実現した。
ガウス核の下では、ドリフト作用素はちょうど滑らかな分布のスコア差である。
論文 参考訳(メタデータ) (2026-03-10T17:30:35Z) - A Unified View of Drifting and Score-Based Models [92.51878018325031]
ドリフトがカーネル平滑分布にスコアベースの定式化を許すことを示すことにより,拡散モデルの背後にあるスコアマッチング原理との関係を正確にする。
一般的なラプラス核に対して正確な分解を導出し、ラプラス核に対してドリフトが低温および高次元状態におけるスコアマッチングの正確なプロキシであることを示す厳密な誤差境界を証明した。
論文 参考訳(メタデータ) (2026-03-08T07:41:36Z) - Contraction and entropy production in continuous-time Sinkhorn dynamics [0.6423239719448169]
以前は非正としか知られていなかったシンクホーン流のエントロピー生成速度を正確に同定する。
この流れは, ターゲット境界面上の可逆マルコフ力学を, オンサーガー勾配流として誘導することを示す。
我々は、Sinkhorn LSIの即時的なユースケースとして、生成モデルを訓練する潜在空間の設計原理と、離散時間アルゴリズムの停止アルゴリズムの2つを挙げる。
論文 参考訳(メタデータ) (2025-10-14T15:32:15Z) - On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。
RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。
本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
論文 参考訳(メタデータ) (2024-10-19T02:36:11Z) - Wasserstein Mirror Gradient Flow as the limit of the Sinkhorn Algorithm [2.7240657895633436]
シンクホーンアルゴリズムの反復から得られる限界の列が、ワッサーシュタイン空間上の絶対連続曲線に収束することを証明する。
この極限はシンクホーンフローと呼ばれ、ワッサーシュタインミラー勾配流の例である。
論文 参考訳(メタデータ) (2023-07-31T06:11:47Z) - Distributional Reinforcement Learning with Regularized Wasserstein Loss [16.042828467744197]
本稿では,スキンホルン分布RL(SinkhornDRL)を提案する。スキンホルン分散(Sinkhorn divergence,正規化ワッサースタイン損失)を利用して,電流とベルマン帰還分布の差を最小限に抑える。
経験的に、SinkhornDRLはAtariゲームスイートの既存のアルゴリズムより一貫して優れており、特に多次元報酬設定において際立っている。
論文 参考訳(メタデータ) (2022-02-01T21:27:51Z) - Accelerating Nonconvex Learning via Replica Exchange Langevin Diffusion [67.66101533752605]
ランゲヴィン拡散は非最適化のための強力な方法である。
本稿では,Langevin拡散を異なる温度で置き換えるレプリカ交換を提案する。
レプリカ交換Langevin拡散を離散化することにより、離散時間アルゴリズムを得る。
論文 参考訳(メタデータ) (2020-07-04T02:52:11Z) - Turbulent scalar flux in inclined jets in crossflow: counter gradient
transport and deep learning modelling [0.0]
負の乱流拡散現象に先行する乱流スカラー混合層の研究
レイノルズ応力をモデル化するために以前に開発されたテンソルベースニューラルネットワークを適用した乱流スカラーフラックスの深層学習手法
その結果, 単純なモデルに比べ, 特に乱流混合において, クロスグラディエント効果が重要な役割を担っている場合において, 顕著な改善が見られた。
論文 参考訳(メタデータ) (2020-01-14T03:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。