論文の概要: Neural Sinkhorn Gradient Flow

• arxiv url: http://arxiv.org/abs/2401.14069v1
• Date: Thu, 25 Jan 2024 10:44:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 14:55:07.430874
• Title: Neural Sinkhorn Gradient Flow
• Title（参考訳）: 神経シンクホーン勾配流れ
• Authors: Huminhao Zhu, Fangyikang Wang, Chao Zhang, Hanbin Zhao, Hui Qian
• Abstract要約: 本稿では,ワッサーシュタイン勾配流の時間変化速度場をパラメータ化したニューラルシンクホーン勾配流(NSGF)モデルを提案する。 理論解析により, 試料径が無限大に大きくなるにつれて, 経験的近似の平均場限界は真の基礎速度場に収束することが示された。 高次元タスクにおけるモデル効率をさらに高めるために、二相NSGF++モデルが考案された。
• 参考スコア（独自算出の注目度）: 11.4522103360875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Wasserstein Gradient Flows (WGF) with respect to specific functionals have been widely used in the machine learning literature. Recently, neural networks have been adopted to approximate certain intractable parts of the underlying Wasserstein gradient flow and result in efficient inference procedures. In this paper, we introduce the Neural Sinkhorn Gradient Flow (NSGF) model, which parametrizes the time-varying velocity field of the Wasserstein gradient flow w.r.t. the Sinkhorn divergence to the target distribution starting a given source distribution. We utilize the velocity field matching training scheme in NSGF, which only requires samples from the source and target distribution to compute an empirical velocity field approximation. Our theoretical analyses show that as the sample size increases to infinity, the mean-field limit of the empirical approximation converges to the true underlying velocity field. To further enhance model efficiency on high-dimensional tasks, a two-phase NSGF++ model is devised, which first follows the Sinkhorn flow to approach the image manifold quickly ($\le 5$ NFEs) and then refines the samples along a simple straight flow. Numerical experiments with synthetic and real-world benchmark datasets support our theoretical results and demonstrate the effectiveness of the proposed methods.
• Abstract（参考訳）: 特定の機能に関するwassersteingradient flow(wgf)は、機械学習の文献で広く使われている。 近年,ニューラルネットワークがwasserstein勾配流のある種の難解な部分の近似に採用され,効率的な推論手法が実現されている。 本稿では,ワッサーシュタイン勾配流w.r.t.の時間変化速度場をパラメータ化したニューラルシンクホーン勾配流(NSGF)モデルを提案する。 NSGFの速度場マッチング学習手法は,実験的な速度場近似を計算するために,ソースとターゲット分布からのサンプルのみを必要とする。 理論解析により, サンプルサイズが無限大に増加するにつれて, 経験的近似の平均場限度が真の速度場に収束することが示された。 高次元タスクにおけるモデル効率をさらに高めるために、2相NSGF++モデルが考案され、まずシンクホーンフローに従って画像多様体に素早く接近し(\le 5$ NFEs)、次に単純なストレートフローに沿ってサンプルを洗練する。 合成および実世界のベンチマークデータセットを用いた数値実験により,提案手法の有効性が実証された。

関連論文リスト

• Learning Pore-scale Multi-phase Flow from Experimental Data with Graph Neural Network [2.2101344151283944]
  現在の数値モデルは、しばしば実験で観測された複雑な細孔スケールの物理学を正確に捉えることができない。 我々は,マイクロCT実験データを用いて,グラフニューラルネットワークを用いた多孔質流体の流れを直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T15:01:17Z)
• Kernel Approximation of Fisher-Rao Gradient Flows [52.154685604660465]
  本稿では,フィッシャー・ラオ型およびワッサーシュタイン型勾配流の勾配構造,流れ方程式,および核近似に関する厳密な研究を行う。 具体的には、フィッシャー・ラオ幾何学とその様々なカーネルに基づく近似に注目し、原理的な理論的枠組みを開発する。
  論文  参考訳（メタデータ） (2024-10-27T22:52:08Z)
• Semi-Implicit Functional Gradient Flow [30.32233517392456]
  近似系として摂動粒子を用いる関数勾配ParVI法を提案する。 対応する関数勾配流は、スコアマッチングによって推定できるが、強い理論的収束を保証する。
  論文  参考訳（メタデータ） (2024-10-23T15:00:30Z)
• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。 最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。 RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Conditional Lagrangian Wasserstein Flow for Time Series Imputation [3.914746375834628]
  本研究では,条件付きラグランジアンワッサースタイン流という時系列計算法を提案する。 提案手法は(条件付き)最適輸送理論を利用して,シミュレーションのない方法で確率流を学習する。 実単語データセットを用いた実験結果から,提案手法は時系列計算における競合性能を実現することが示された。
  論文  参考訳（メタデータ） (2024-10-10T02:46:28Z)
• Improving Consistency Models with Generator-Induced Flows [16.049476783301724]
  一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。 それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。 本稿では,現在訓練されているモデルから得られた雑音データを対応する出力へ転送する新しい流れを提案する。
  論文  参考訳（メタデータ） (2024-06-13T20:22:38Z)
• DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models [58.450152413700586]
  ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。 我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。 提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
  論文  参考訳（メタデータ） (2023-10-09T15:29:10Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。