論文の概要: Neural Sinkhorn Gradient Flow
- arxiv url: http://arxiv.org/abs/2401.14069v1
- Date: Thu, 25 Jan 2024 10:44:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 14:55:07.430874
- Title: Neural Sinkhorn Gradient Flow
- Title(参考訳): 神経シンクホーン勾配流れ
- Authors: Huminhao Zhu, Fangyikang Wang, Chao Zhang, Hanbin Zhao, Hui Qian
- Abstract要約: 本稿では,ワッサーシュタイン勾配流の時間変化速度場をパラメータ化したニューラルシンクホーン勾配流(NSGF)モデルを提案する。
理論解析により, 試料径が無限大に大きくなるにつれて, 経験的近似の平均場限界は真の基礎速度場に収束することが示された。
高次元タスクにおけるモデル効率をさらに高めるために、二相NSGF++モデルが考案された。
- 参考スコア(独自算出の注目度): 11.4522103360875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Wasserstein Gradient Flows (WGF) with respect to specific functionals have
been widely used in the machine learning literature. Recently, neural networks
have been adopted to approximate certain intractable parts of the underlying
Wasserstein gradient flow and result in efficient inference procedures. In this
paper, we introduce the Neural Sinkhorn Gradient Flow (NSGF) model, which
parametrizes the time-varying velocity field of the Wasserstein gradient flow
w.r.t. the Sinkhorn divergence to the target distribution starting a given
source distribution. We utilize the velocity field matching training scheme in
NSGF, which only requires samples from the source and target distribution to
compute an empirical velocity field approximation. Our theoretical analyses
show that as the sample size increases to infinity, the mean-field limit of the
empirical approximation converges to the true underlying velocity field. To
further enhance model efficiency on high-dimensional tasks, a two-phase NSGF++
model is devised, which first follows the Sinkhorn flow to approach the image
manifold quickly ($\le 5$ NFEs) and then refines the samples along a simple
straight flow. Numerical experiments with synthetic and real-world benchmark
datasets support our theoretical results and demonstrate the effectiveness of
the proposed methods.
- Abstract(参考訳): 特定の機能に関するwassersteingradient flow(wgf)は、機械学習の文献で広く使われている。
近年,ニューラルネットワークがwasserstein勾配流のある種の難解な部分の近似に採用され,効率的な推論手法が実現されている。
本稿では,ワッサーシュタイン勾配流w.r.t.の時間変化速度場をパラメータ化したニューラルシンクホーン勾配流(NSGF)モデルを提案する。
NSGFの速度場マッチング学習手法は,実験的な速度場近似を計算するために,ソースとターゲット分布からのサンプルのみを必要とする。
理論解析により, サンプルサイズが無限大に増加するにつれて, 経験的近似の平均場限度が真の速度場に収束することが示された。
高次元タスクにおけるモデル効率をさらに高めるために、2相NSGF++モデルが考案され、まずシンクホーンフローに従って画像多様体に素早く接近し(\le 5$ NFEs)、次に単純なストレートフローに沿ってサンプルを洗練する。
合成および実世界のベンチマークデータセットを用いた数値実験により,提案手法の有効性が実証された。
関連論文リスト
- Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳(メタデータ) (2024-03-11T09:10:37Z) - Analyzing Neural Network-Based Generative Diffusion Models through
Convex Optimization [54.01594785269913]
拡散モデルは画像、ビデオ、オーディオ生成に広く使われている。
スコアベース拡散モデルでは,入力データ分布のスコア関数を推定する必要がある。
この研究は、ニューラルネットワークベースの拡散モデルが漸近的でない環境で何を学ぶかを理解するのに寄与する。
論文 参考訳(メタデータ) (2024-02-03T00:20:25Z) - Deep Conditional Generative Learning: Model and Error Analysis [3.4623717820849476]
本稿では,Folmer Flowという条件分布を学習するための正規微分方程式に基づく深層生成手法を提案する。
実効的な実装のために、我々は、ディープニューラルネットワークを用いて非パラメトリックに速度場を推定する条件付き手法を用いて流れを識別する。
本研究では,学習したサンプルの分布と対象分布との間のワッサーシュタイン距離における非漸近収束率を導出し,ODEフローによる条件分布学習のための第1の総合的エンドツーエンド誤差解析を行う。
論文 参考訳(メタデータ) (2024-02-02T14:52:10Z) - DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for
Accelerated Seq2Seq Diffusion Models [58.450152413700586]
ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。
我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。
提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
論文 参考訳(メタデータ) (2023-10-09T15:29:10Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳(メタデータ) (2022-11-24T07:30:27Z) - Solving Seismic Wave Equations on Variable Velocity Models with Fourier
Neural Operator [3.2307366446033945]
本稿では,FNOに基づく解法を効率的に学習するための新しいフレームワークであるFourier Neural operator (PFNO)を提案する。
数値実験により、複雑な速度モデルによるFNOとPFNOの精度が示された。
PFNOは、従来の有限差分法と比較して、大規模なテストデータセットの計算効率が高いことを認めている。
論文 参考訳(メタデータ) (2022-09-25T22:25:57Z) - A robust single-pixel particle image velocimetry based on fully
convolutional networks with cross-correlation embedded [3.3579727024861064]
深層学習法と従来の相互相関法を相乗的に組み合わせた新しい速度場推定パラダイムを提案する。
深層学習法は、粗い速度推定を最適化し、補正し、超解法計算を実現する。
参考として、粗い速度推定は提案アルゴリズムの堅牢性を向上させるのに役立つ。
論文 参考訳(メタデータ) (2021-10-31T03:26:08Z) - Neural Particle Image Velocimetry [4.416484585765027]
本稿では,この問題に適応した畳み込みニューラルネットワーク,すなわちボリューム対応ネットワーク(VCN)を紹介する。
ネットワークは、合成データと実フローデータの両方を含むデータセット上で、徹底的にトレーニングされ、テストされる。
解析の結果,提案手法は現場における他の最先端手法と同等の精度を保ちながら,効率の向上を図っている。
論文 参考訳(メタデータ) (2021-01-28T12:03:39Z) - Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。
本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文 参考訳(メタデータ) (2020-06-16T15:07:37Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳(メタデータ) (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。