論文の概要: Applying Regularized Schr\"odinger-Bridge-Based Stochastic Process in Generative Modeling

• arxiv url: http://arxiv.org/abs/2208.07131v1
• Date: Mon, 15 Aug 2022 11:52:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 13:14:14.880383
• Title: Applying Regularized Schr\"odinger-Bridge-Based Stochastic Process in Generative Modeling
• Title（参考訳）: 正規化Schr\"odinger-Bridge-based Stochastic Process による生成モデリング
• Authors: Ki-Ung Song
• Abstract要約: 本研究は,時間ステップ数とトレーニング時間を削減し,双方向プロセスと時間ステップ数との整合性を確保するための正規化条件を提案する。 この正規化を様々なタスクに適用することにより、より高速なサンプリング速度のプロセスに基づく生成モデリングの可能性を確認することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compared to the existing function-based models in deep generative modeling, the recently proposed diffusion models have achieved outstanding performance with a stochastic-process-based approach. But a long sampling time is required for this approach due to many timesteps for discretization. Schr\"odinger bridge (SB)-based models attempt to tackle this problem by training bidirectional stochastic processes between distributions. However, they still have a slow sampling speed compared to generative models such as generative adversarial networks. And due to the training of the bidirectional stochastic processes, they require a relatively long training time. Therefore, this study tried to reduce the number of timesteps and training time required and proposed regularization terms to the existing SB models to make the bidirectional stochastic processes consistent and stable with a reduced number of timesteps. Each regularization term was integrated into a single term to enable more efficient training in computation time and memory usage. Applying this regularized stochastic process to various generation tasks, the desired translations between different distributions were obtained, and accordingly, the possibility of generative modeling based on a stochastic process with faster sampling speed could be confirmed. The code is available at https://github.com/KiUngSong/RSB.
• Abstract（参考訳）: 近年提案された拡散モデルでは, 従来の関数ベースモデルと比較して, 確率的プロセスベースアプローチにより優れた性能を達成している。 しかし、離散化のための多くの時間ステップのため、このアプローチには長いサンプリング時間が必要である。 Schr\"odinger Bridge (SB) ベースのモデルは、分布間の双方向確率過程を訓練することによってこの問題に対処しようとする。 しかし、生成的敵ネットワークのような生成的モデルと比較してサンプリング速度は遅い。 そして、双方向確率過程のトレーニングのためには、比較的長いトレーニング時間が必要です。 そこで本研究では,既存のSBモデルに対して,時間ステップ数とトレーニング時間を削減し,双方向確率過程の整合性と安定性を低下させる正規化条件を提案する。 各正規化項は単一の項に統合され、計算時間とメモリ使用量のより効率的なトレーニングを可能にした。 この正規化確率過程を様々な生成タスクに適用し、異なる分布間の所望の変換を求め、より高速なサンプリング速度を持つ確率過程に基づく生成的モデリングの可能性を確認することができた。 コードはhttps://github.com/kiungsong/rsbで入手できる。

関連論文リスト

• From discrete-time policies to continuous-time diffusion samplers: Asymptotic equivalences and faster training [16.299508349934754]
  本研究では,Boltzmann分布から対象サンプルにアクセスすることなく,ニューラルネットワークの微分方程式(拡散モデル)を学習する問題について検討する。 このようなモデルの既存の訓練方法は、生成過程とノイズ発生過程の時間反転を強制する。 トレーニング中の粗い時間離散化の適切な選択は、サンプル効率と時間局所目標の使用を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2025-01-10T18:18:25Z)
• One Step Diffusion via Shortcut Models [109.72495454280627]
  単一ネットワークとトレーニングフェーズを用いて高品質なサンプルを生成する,生成モデルのファミリであるショートカットモデルを導入する。 ショートカットモデルは、現在のノイズレベルと所望のステップサイズにネットワークを条件付け、生成プロセスでモデルをスキップすることができる。 蒸留と比較して、ショートカットモデルは複雑性を1つのネットワークとトレーニングフェーズに減らし、推論時に様々なステップ予算を許容する。
  論文  参考訳（メタデータ） (2024-10-16T13:34:40Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Stable generative modeling using Schrödinger bridges [0.22499166814992438]
  本稿では,Schr"odinger BridgesとLangevin dynamicsを組み合わせた生成モデルを提案する。 我々のフレームワークは自然に条件付きサンプルを生成し、ベイズ推論問題に拡張することができる。
  論文  参考訳（メタデータ） (2024-01-09T06:15:45Z)
• Fast Sampling via Discrete Non-Markov Diffusion Models with Predetermined Transition Time [49.598085130313514]
  離散非マルコフ拡散モデル(DNDM)を提案する。 これにより、トレーニング不要なサンプリングアルゴリズムにより、関数評価の数を大幅に削減できる。 有限ステップサンプリングから無限ステップサンプリングへの移行について検討し、離散プロセスと連続プロセスのギャップを埋めるための新たな洞察を提供する。
  論文  参考訳（メタデータ） (2023-12-14T18:14:11Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• Markov Chain Monte Carlo for Continuous-Time Switching Dynamical Systems [26.744964200606784]
  マルコフ連鎖モンテカルロ法による新しい推論アルゴリズムを提案する。 提示されたギブスサンプルは、正確な連続時間後処理から試料を効率的に得ることができる。
  論文  参考訳（メタデータ） (2022-05-18T09:03:00Z)
• Traversing Time with Multi-Resolution Gaussian Process State-Space Models [17.42262122708566]
  本稿では,複数のコンポーネントで構成されたガウス的プロセス状態空間アーキテクチャを提案する。 半合成データとエンジンモデリングタスクに新しい手法をベンチマークする。 どちらの実験でも、我々のアプローチは1つの時間スケールでしか動作しない最先端の代替手段と良好に比較できる。
  論文  参考訳（メタデータ） (2021-12-06T18:39:27Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。