論文の概要: Sinkhorn Natural Gradient for Generative Models
- arxiv url: http://arxiv.org/abs/2011.04162v1
- Date: Mon, 9 Nov 2020 02:51:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 00:25:26.817814
- Title: Sinkhorn Natural Gradient for Generative Models
- Title(参考訳): 生成モデルに対するシンクホーン自然勾配
- Authors: Zebang Shen and Zhenfu Wang and Alejandro Ribeiro and Hamed Hassani
- Abstract要約: 本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。
本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。
本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
- 参考スコア(独自算出の注目度): 125.89871274202439
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of minimizing a functional over a parametric family
of probability measures, where the parameterization is characterized via a
push-forward structure. An important application of this problem is in training
generative adversarial networks. In this regard, we propose a novel Sinkhorn
Natural Gradient (SiNG) algorithm which acts as a steepest descent method on
the probability space endowed with the Sinkhorn divergence. We show that the
Sinkhorn information matrix (SIM), a key component of SiNG, has an explicit
expression and can be evaluated accurately in complexity that scales
logarithmically with respect to the desired accuracy. This is in sharp contrast
to existing natural gradient methods that can only be carried out
approximately. Moreover, in practical applications when only Monte-Carlo type
integration is available, we design an empirical estimator for SIM and provide
the stability analysis. In our experiments, we quantitatively compare SiNG with
state-of-the-art SGD-type solvers on generative tasks to demonstrate its
efficiency and efficacy of our method.
- Abstract(参考訳): 本稿では,パラメータ化がプッシュフォワード構造によって特徴づけられるパラメトリックな確率測度に対して関数を最小化する問題を考える。
この問題の重要な応用は、生成的敵ネットワークのトレーニングである。
本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。
我々は,SiNGのキーコンポーネントであるシンクホーン情報行列(SIM)が明示的な表現を持ち,所望の精度で対数的にスケールする複雑性を正確に評価できることを示した。
これは、およそしか実行できない既存の自然勾配法とは対照的である。
さらに,モンテカルロ型統合のみの実用化においては,SIMの実証的推定器を設計し,安定性解析を行う。
本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
関連論文リスト
- Smoothing Methods for Automatic Differentiation Across Conditional
Branches [0.0]
スムース解釈(SI)は、プログラムの出力とガウス核との畳み込みを近似し、原理的にその出力を滑らかにする。
SIと自動微分(AD)を組み合わせることで、スムーズなプログラムの勾配を効率的に計算する。
本稿では,ADとサンプリングを組み合わせたスムーズなプログラムの勾配を推定することにより,基礎となる仮定を回避する新しいモンテカルロ推定法を提案する。
論文 参考訳(メタデータ) (2023-10-05T15:08:37Z) - Simulation-based inference using surjective sequential neural likelihood
estimation [50.24983453990065]
主観的逐次的ニューラルネットワーク類似度推定はシミュレーションに基づく推論の新しい手法である。
データを低次元空間に埋め込むことで、SSNLは高次元データセットに適用する際の従来の可能性ベースの手法が抱えるいくつかの問題を解く。
論文 参考訳(メタデータ) (2023-08-02T10:02:38Z) - Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees [57.67528738886731]
誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
論文 参考訳(メタデータ) (2022-10-14T15:20:17Z) - Statistical Learning and Inverse Problems: An Stochastic Gradient
Approach [0.0]
逆問題は科学と工学において最重要である。
本稿では,統計的逆問題 (SIP) のセットアップについて考察し,線形SIP設定においてグラディエント・ディフレッシュ (SGD) アルゴリズムをどのように利用できるかを示す。
論文 参考訳(メタデータ) (2022-09-29T17:42:01Z) - Experimental Design for Linear Functionals in Reproducing Kernel Hilbert
Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。
準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文 参考訳(メタデータ) (2022-05-26T20:56:25Z) - Scalable Stochastic Parametric Verification with Stochastic Variational
Smoothed Model Checking [1.5293427903448025]
平滑モデル検査 (smMC) は, パラメータ空間全体の満足度関数を, 限られた観測値から推定することを目的としている。
本稿では,確率論的機械学習の最近の進歩を利用して,この限界を推し進める。
構成された満足度関数のスケーラビリティ,計算効率,精度を調べた結果,smMCとSV-smMCの性能を比較した。
論文 参考訳(メタデータ) (2022-05-11T10:43:23Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Gaussian Process-based Min-norm Stabilizing Controller for
Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。
この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
論文 参考訳(メタデータ) (2020-11-14T01:27:32Z) - Isotropic SGD: a Practical Approach to Bayesian Posterior Sampling [18.64160180251004]
この研究は、マルコフ連鎖モンテカルロ(SGMCMC)アルゴリズムの振舞いにおける勾配(SG)ノイズの役割の理解を深めるための統一的な数学的枠組みを定義する。
我々の定式化は, 定型学習率を用いてSG雑音を等方性にする, 後方サンプリングのための新しい実用的な手法の設計を解き放つ。
我々の提案は、sgmcmcの最先端技術と競合するが、より実用的である。
論文 参考訳(メタデータ) (2020-06-09T07:31:21Z) - Convergence and sample complexity of gradient methods for the model-free
linear quadratic regulator problem [27.09339991866556]
本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。
我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
論文 参考訳(メタデータ) (2019-12-26T16:56:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。