論文の概要: Likelihood Training of Schr\"odinger Bridge using Forward-Backward SDEs Theory

• arxiv url: http://arxiv.org/abs/2110.11291v2
• Date: Sat, 23 Oct 2021 22:37:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 11:41:16.732234
• Title: Likelihood Training of Schr\"odinger Bridge using Forward-Backward SDEs Theory
• Title（参考訳）: 前向きSDE理論を用いたSchr\"odinger Bridgeの模擬訓練
• Authors: Tianrong Chen, Guan-Horng Liu, Evangelos A. Theodorou
• Abstract要約: SBの最適化原理が深層生成モデルの近代的な訓練と関係しているかどうかは不明である。 本稿では,フォワード-バックワード微分方程式理論に基づくSBモデルの確率学習のための新しい計算フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.92713188431164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Schr\"odinger Bridge (SB) is an optimal transport problem that has received increasing attention in deep generative modeling for its mathematical flexibility compared to the Scored-based Generative Model (SGM). However, it remains unclear whether the optimization principle of SB relates to the modern training of deep generative models, which often rely on constructing parameterized log-likelihood objectives.This raises questions on the suitability of SB models as a principled alternative for generative applications. In this work, we present a novel computational framework for likelihood training of SB models grounded on Forward-Backward Stochastic Differential Equations Theory -- a mathematical methodology appeared in stochastic optimal control that transforms the optimality condition of SB into a set of SDEs. Crucially, these SDEs can be used to construct the likelihood objectives for SB that, surprisingly, generalizes the ones for SGM as special cases. This leads to a new optimization principle that inherits the same SB optimality yet without losing applications of modern generative training techniques, and we show that the resulting training algorithm achieves comparable results on generating realistic images on MNIST, CelebA, and CIFAR10.
• Abstract（参考訳）: Schr\"odinger Bridge (SB) は、Scored-based Generative Model (SGM) と比較して、その数学的柔軟性のために、深い生成モデルにおいて注目を集めている最適な輸送問題である。 しかし、SBの最適化原理が、しばしばパラメータ化されたログライクな目的の構築に依存する深層生成モデルの近代的な訓練と関係しているかどうかは不明である。 本研究では,SBの最適条件を一組のSDEに変換する確率的最適制御に現れる数学的方法論である,前方確率微分方程式理論に基づくSBモデルの確率的トレーニングのための新しい計算フレームワークを提案する。 重要なことに、これらのSDEはSBの潜在的目的を構築するために使用することができ、驚くべきことに、SGMの目的を特別なケースとして一般化することができる。 これにより、現代の生成訓練技術の応用を損なうことなく、sbの最適性を継承する新しい最適化原理が導かれるとともに、mnist、celeba、cifar10上の現実的な画像を生成するのに匹敵する結果が得られることを示した。

関連論文リスト

• Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
  本稿では,拡張性のある並列計算を可能にするアルゴリズム PISA を開発し,様々な第2モーメント方式をサポートする。 厳密な理論的な保証の下で、アルゴリズムは勾配のリプシッツの唯一の仮定の下で収束する。 視覚モデル、大規模言語モデル、強化学習モデル、生成的敵ネットワーク、繰り返しニューラルネットワークを含む様々なFMの総合的または微調整実験は、様々な最先端の方向と比較して優れた数値性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T12:28:51Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。 この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Go With the Flow: Fast Diffusion for Gaussian Mixture Models [13.03355083378673]
  Schr"odinger Bridges (SB) は、適切なコスト関数を最小化しながら、有限時間で与えられた初期分布を他の最終状態に分配する拡散過程である。 本稿では,ある分布から別の分布へシステムをステアリングするための一組のSBポリシーの潜在メトリゼーションを提案する。 オートエンコーダの空間における画像から画像への変換のような低次元問題におけるこのアプローチの可能性を示す。
  論文  参考訳（メタデータ） (2024-12-12T08:40:22Z)
• Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
  本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。 我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
  論文  参考訳（メタデータ） (2024-05-30T03:57:29Z)
• Model-based Causal Bayesian Optimization [74.78486244786083]
  乗算重み付き因果ベイズ最適化のための最初のアルゴリズム(CBO-MW)を提案する。 グラフ関連の量に自然に依存するCBO-MWに対する後悔の限界を導出する。 我々の実験は、共有モビリティシステムにおいて、ユーザの需要パターンを学習するためにCBO-MWをどのように使用できるかの現実的なデモを含む。
  論文  参考訳（メタデータ） (2023-07-31T13:02:36Z)
• Building the Bridge of Schr\"odinger: A Continuous Entropic Optimal Transport Benchmark [96.06787302688595]
  提案手法は, 基本真理 OT 解が構成によって知られている確率分布のペアを作成する方法である。 これらのベンチマークペアを使用して、既存のニューラルネットワーク EOT/SB ソルバが実際に EOT ソリューションをどれだけよく計算しているかをテストする。
  論文  参考訳（メタデータ） (2023-06-16T20:03:36Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• The Schr\"odinger Bridge between Gaussian Measures has a Closed Form [101.79851806388699]
  我々は OT の動的定式化(Schr"odinger bridge (SB) 問題)に焦点を当てる。 本稿では,ガウス測度間のSBに対する閉形式表現について述べる。
  論文  参考訳（メタデータ） (2022-02-11T15:59:01Z)
• Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders [22.54887526392739]
  本稿では, 最適輸送に基づくディープラーニング階層を用いたモデル学習手法を提案する。 提案手法は, VAEの「潜伏変数崩壊」問題を回避することで, 生成モデルをその深部潜伏階層を完全に活用することを可能にした。
  論文  参考訳（メタデータ） (2020-10-07T15:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。