論文の概要: On the Existence of Optimal Transport Gradient for Learning Generative Models

• arxiv url: http://arxiv.org/abs/2102.05542v1
• Date: Wed, 10 Feb 2021 16:28:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 14:43:46.766676
• Title: On the Existence of Optimal Transport Gradient for Learning Generative Models
• Title（参考訳）: 生成モデル学習のための最適輸送勾配の存在について
• Authors: Antoine Houdard and Arthur Leclaire and Nicolas Papadakis and Julien Rabin
• Abstract要約: Wasserstein Generative Adversarial Networks (WGAN) のトレーニングは、最適な輸送コストの勾配の計算に依存する。 まず、そのような勾配は定義されない可能性を示し、勾配に基づく最適化の際の数値的不安定性をもたらす。 実験データの離散性を利用して、半離散的な設定で勾配を定式化し、生成モデルパラメータの最適化のためのアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 8.602553195689513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of optimal transport cost for learning generative models has become popular with Wasserstein Generative Adversarial Networks (WGAN). Training of WGAN relies on a theoretical background: the calculation of the gradient of the optimal transport cost with respect to the generative model parameters. We first demonstrate that such gradient may not be defined, which can result in numerical instabilities during gradient-based optimization. We address this issue by stating a valid differentiation theorem in the case of entropic regularized transport and specify conditions under which existence is ensured. By exploiting the discrete nature of empirical data, we formulate the gradient in a semi-discrete setting and propose an algorithm for the optimization of the generative model parameters. Finally, we illustrate numerically the advantage of the proposed framework.
• Abstract（参考訳）: Wasserstein Generative Adversarial Networks (WGAN) では, 生成モデル学習のための最適輸送コストの利用が普及している。 WGANの訓練は理論的な背景に依存します:生成モデルパラメータに関する最適な輸送コストの勾配の計算。 まず,そのような勾配が定義できないことを証明し,勾配に基づく最適化の際の数値不安定性を生ずる。 エントロピック正規化輸送の場合、有効な微分定理を述べ、存在が保証される条件を指定することでこの問題に対処する。 経験的データの離散的性質を利用して、半離散設定で勾配を定式化し、生成モデルパラメータの最適化のためのアルゴリズムを提案する。 最後に,提案フレームワークの利点を数値的に説明する。

関連論文リスト

• Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
  本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。 物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。 PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2024-07-10T17:39:50Z)
• Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
  本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。 我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
  論文  参考訳（メタデータ） (2024-05-30T03:57:29Z)
• Flow-based Distributionally Robust Optimization [23.232731771848883]
  We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。 我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。 本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
  論文  参考訳（メタデータ） (2023-10-30T03:53:31Z)
• A transport approach to sequential simulation-based inference [0.0]
  静的モデルパラメータの逐次ベイズ推定を効率的に行うためのトランスポートベース手法を提案する。 この戦略は、パラメータとデータの合同分布から条件分布を抽出し、構造化された(例えば、ブロック三角形)輸送マップを推定する。 これにより、モデルのないオンラインフェーズにおける輸送マップによる後部密度の勾配に基づく特徴付けが可能になる。
  論文  参考訳（メタデータ） (2023-08-26T18:53:48Z)
• Variational Sequential Optimal Experimental Design using Reinforcement Learning [0.0]
  ベイジアン・フレームワークと情報ゲイン・ユーティリティを用いた有限列実験を最適に設計する新しい手法である変分逐次最適実験設計(vsOED)を導入する。 以上の結果から,従来の逐次設計アルゴリズムと比較して,サンプル効率が大幅に向上し,前方モデルシミュレーションの数が減少したことが示唆された。
  論文  参考訳（メタデータ） (2023-06-17T21:47:19Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• SODEN: A Scalable Continuous-Time Survival Model through Ordinary Differential Equation Networks [14.564168076456822]
  本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。 提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
  論文  参考訳（メタデータ） (2020-08-19T19:11:25Z)
• Statistical Optimal Transport posed as Learning Kernel Embedding [0.0]
  この研究は、統計学的最適輸送(OT)を、輸送計画のカーネルの平均埋め込みをサンプルベースによる限界埋め込みの推定から学習する、という新しいアプローチを採っている。 重要な結果は、非常に穏やかな条件下では、$epsilon$-optimal recovery of the transport plan と Barycentric-projection based transport map が、完全に次元のないサンプル複雑性で可能であることである。
  論文  参考訳（メタデータ） (2020-02-08T14:58:53Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。