論文の概要: Likelihood Training of Schr\"odinger Bridge using Forward-Backward SDEs Theory

• arxiv url: http://arxiv.org/abs/2110.11291v2
• Date: Sat, 23 Oct 2021 22:37:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 11:41:16.732234
• Title: Likelihood Training of Schr\"odinger Bridge using Forward-Backward SDEs Theory
• Title（参考訳）: 前向きSDE理論を用いたSchr\"odinger Bridgeの模擬訓練
• Authors: Tianrong Chen, Guan-Horng Liu, Evangelos A. Theodorou
• Abstract要約: SBの最適化原理が深層生成モデルの近代的な訓練と関係しているかどうかは不明である。 本稿では,フォワード-バックワード微分方程式理論に基づくSBモデルの確率学習のための新しい計算フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.92713188431164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Schr\"odinger Bridge (SB) is an optimal transport problem that has received increasing attention in deep generative modeling for its mathematical flexibility compared to the Scored-based Generative Model (SGM). However, it remains unclear whether the optimization principle of SB relates to the modern training of deep generative models, which often rely on constructing parameterized log-likelihood objectives.This raises questions on the suitability of SB models as a principled alternative for generative applications. In this work, we present a novel computational framework for likelihood training of SB models grounded on Forward-Backward Stochastic Differential Equations Theory -- a mathematical methodology appeared in stochastic optimal control that transforms the optimality condition of SB into a set of SDEs. Crucially, these SDEs can be used to construct the likelihood objectives for SB that, surprisingly, generalizes the ones for SGM as special cases. This leads to a new optimization principle that inherits the same SB optimality yet without losing applications of modern generative training techniques, and we show that the resulting training algorithm achieves comparable results on generating realistic images on MNIST, CelebA, and CIFAR10.
• Abstract（参考訳）: Schr\"odinger Bridge (SB) は、Scored-based Generative Model (SGM) と比較して、その数学的柔軟性のために、深い生成モデルにおいて注目を集めている最適な輸送問題である。 しかし、SBの最適化原理が、しばしばパラメータ化されたログライクな目的の構築に依存する深層生成モデルの近代的な訓練と関係しているかどうかは不明である。 本研究では,SBの最適条件を一組のSDEに変換する確率的最適制御に現れる数学的方法論である,前方確率微分方程式理論に基づくSBモデルの確率的トレーニングのための新しい計算フレームワークを提案する。 重要なことに、これらのSDEはSBの潜在的目的を構築するために使用することができ、驚くべきことに、SGMの目的を特別なケースとして一般化することができる。 これにより、現代の生成訓練技術の応用を損なうことなく、sbの最適性を継承する新しい最適化原理が導かれるとともに、mnist、celeba、cifar10上の現実的な画像を生成するのに匹敵する結果が得られることを示した。

関連論文リスト

• Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
  本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。 我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
  論文  参考訳（メタデータ） (2024-05-30T03:57:29Z)
• Pseudo-Bayesian Optimization [7.556071491014536]
  ブラックボックス最適化の収束を保証するために最小限の要件を課す公理的枠組みについて検討する。 我々は、単純な局所回帰と、不確実性を定量化するために適切な「ランダム化事前」構造を用いることが、収束を保証するだけでなく、常に最先端のベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-15T07:55:28Z)
• Model-based Causal Bayesian Optimization [74.78486244786083]
  乗算重み付き因果ベイズ最適化のための最初のアルゴリズム(CBO-MW)を提案する。 グラフ関連の量に自然に依存するCBO-MWに対する後悔の限界を導出する。 我々の実験は、共有モビリティシステムにおいて、ユーザの需要パターンを学習するためにCBO-MWをどのように使用できるかの現実的なデモを含む。
  論文  参考訳（メタデータ） (2023-07-31T13:02:36Z)
• Building the Bridge of Schr\"odinger: A Continuous Entropic Optimal Transport Benchmark [96.06787302688595]
  提案手法は, 基本真理 OT 解が構成によって知られている確率分布のペアを作成する方法である。 これらのベンチマークペアを使用して、既存のニューラルネットワーク EOT/SB ソルバが実際に EOT ソリューションをどれだけよく計算しているかをテストする。
  論文  参考訳（メタデータ） (2023-06-16T20:03:36Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• The Schr\"odinger Bridge between Gaussian Measures has a Closed Form [101.79851806388699]
  我々は OT の動的定式化(Schr"odinger bridge (SB) 問題)に焦点を当てる。 本稿では,ガウス測度間のSBに対する閉形式表現について述べる。
  論文  参考訳（メタデータ） (2022-02-11T15:59:01Z)
• On the Existence of Optimal Transport Gradient for Learning Generative Models [8.602553195689513]
  Wasserstein Generative Adversarial Networks (WGAN) のトレーニングは、最適な輸送コストの勾配の計算に依存する。 まず、そのような勾配は定義されない可能性を示し、勾配に基づく最適化の際の数値的不安定性をもたらす。 実験データの離散性を利用して、半離散的な設定で勾配を定式化し、生成モデルパラメータの最適化のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-10T16:28:20Z)
• Learning Deep-Latent Hierarchies by Stacking Wasserstein Autoencoders [22.54887526392739]
  本稿では, 最適輸送に基づくディープラーニング階層を用いたモデル学習手法を提案する。 提案手法は, VAEの「潜伏変数崩壊」問題を回避することで, 生成モデルをその深部潜伏階層を完全に活用することを可能にした。
  論文  参考訳（メタデータ） (2020-10-07T15:04:20Z)
• Uncertainty Modelling in Risk-averse Supply Chain Systems Using Multi-objective Pareto Optimization [0.0]
  サプライチェーンモデリングにおける困難なタスクの1つは、不規則な変動に対して堅牢なモデルを構築することである。 我々は、不確実性を扱うためのパレート最適化(Pareto Optimization)という新しい手法を導入し、これらの不確実性のエントロピーをアプリオリ仮定の下で明示的にモデル化することで拘束する。
  論文  参考訳（メタデータ） (2020-04-24T21:04:25Z)
• Nested-Wasserstein Self-Imitation Learning for Sequence Generation [158.19606942252284]
  分布意味マッチングのためのネスト・ワッサーシュタイン距離の概念を提案する。 ネストされたワッサーシュタインの自己想像学習フレームワークを開発し、歴史ある高次列を利用するようモデルに奨励する。
  論文  参考訳（メタデータ） (2020-01-20T02:19:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。