論文の概要: Variational Schrödinger Diffusion Models

• arxiv url: http://arxiv.org/abs/2405.04795v4
• Date: Fri, 25 Oct 2024 10:35:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:34:16.058973
• Title: Variational Schrödinger Diffusion Models
• Title（参考訳）: 変分シュレーディンガー拡散モデル
• Authors: Wei Deng, Weijian Luo, Yixin Tan, Marin Biloš, Yu Chen, Yuriy Nevmyvaka, Ricky T. Q. Chen,
• Abstract要約: Schr"odinger Bridge (SB) は拡散モデルにおける輸送計画の最適化手法として登場した。 我々は変分推論を利用してSBの前方スコア関数(変分スコア)を線形化する。 本稿では,多変量拡散過程と変分スコアを適応的に最適化して効率的な輸送を行う,変分Schr"odinger拡散モデル(VSDM)を提案する。
• 参考スコア（独自算出の注目度）: 14.480273869571468
• License:
• Abstract: Schr\"odinger bridge (SB) has emerged as the go-to method for optimizing transportation plans in diffusion models. However, SB requires estimating the intractable forward score functions, inevitably resulting in the costly implicit training loss based on simulated trajectories. To improve the scalability while preserving efficient transportation plans, we leverage variational inference to linearize the forward score functions (variational scores) of SB and restore simulation-free properties in training backward scores. We propose the variational Schr\"odinger diffusion model (VSDM), where the forward process is a multivariate diffusion and the variational scores are adaptively optimized for efficient transport. Theoretically, we use stochastic approximation to prove the convergence of the variational scores and show the convergence of the adaptively generated samples based on the optimal variational scores. Empirically, we test the algorithm in simulated examples and observe that VSDM is efficient in generations of anisotropic shapes and yields straighter sample trajectories compared to the single-variate diffusion. We also verify the scalability of the algorithm in real-world data and achieve competitive unconditional generation performance in CIFAR10 and conditional generation in time series modeling. Notably, VSDM no longer depends on warm-up initializations and has become tuning-friendly in training large-scale experiments.
• Abstract（参考訳）: Schr\"odinger Bridge (SB) は拡散モデルにおける輸送計画の最適化手法として登場した。 しかし、SBは難解なフォワードスコア関数を推定する必要があるため、必然的にシミュレートされた軌道に基づいて、暗黙のトレーニング損失を発生させる。 効率的な輸送計画を維持しながらスケーラビリティを向上させるため,SBの前方スコア関数(変分スコア)を線形化し,後方スコアのトレーニングにおいてシミュレーション不要な特性を復元するために変分推論を利用する。 本稿では,多変量拡散過程と変分スコアを適応的に最適化し,効率的な輸送を実現するための変分Schr\"odinger拡散モデル(VSDM)を提案する。 理論的には、確率近似を用いて変動スコアの収束を証明し、最適な変動スコアに基づいて適応的に生成されたサンプルの収束を示す。 実験により, このアルゴリズムを模擬例で検証し, 異方性形状の世代でVSDMが有効であること, 単変量拡散よりもストレートな試料軌道が得られることを観察した。 また、実世界のデータにおけるアルゴリズムのスケーラビリティを検証するとともに、CIFAR10における競合的非条件生成性能と時系列モデリングにおける条件生成を実現する。 特に、VSDMはもはやウォームアップ初期化に依存しておらず、大規模な実験のトレーニングにおいてチューニングに親しみやすいものになっている。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Uncertainty-aware Surrogate Models for Airfoil Flow Simulations with Denoising Diffusion Probabilistic Models [26.178192913986344]
  本研究では,拡散確率モデル(DDPM)を用いて乱流シミュレーションのための不確実性を考慮した代理モデルの訓練を行う。 その結果、DDPMは解全体の分布を正確に把握し、その結果、シミュレーションの不確かさを正確に推定できることがわかった。 また,正規拡散モデルと比較して,新たな生成モデルであるフローマッチングの評価を行った。
  論文  参考訳（メタデータ） (2023-12-08T19:04:17Z)
• Neural Diffusion Models [2.1779479916071067]
  本稿では,データの時間依存非線形変換の定義と学習を可能にする,従来の拡散モデルの一般化について述べる。 NDMは、可能性の観点から従来の拡散モデルより優れ、高品質なサンプルを生成する。
  論文  参考訳（メタデータ） (2023-10-12T13:54:55Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Diffusion Glancing Transformer for Parallel Sequence to Sequence Learning [52.72369034247396]
  モーダリティ拡散プロセスと残差グランシングサンプリングを併用した拡散グランシング変換器を提案する。 DIFFGLATは、自己回帰モデルと非自己回帰モデルの両方と比較して、高速な復号速度を維持しながら、より優れた生成精度を実現する。
  論文  参考訳（メタデータ） (2022-12-20T13:36:25Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。