論文の概要: Sinkhorn Natural Gradient for Generative Models

• arxiv url: http://arxiv.org/abs/2011.04162v1
• Date: Mon, 9 Nov 2020 02:51:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 00:25:26.817814
• Title: Sinkhorn Natural Gradient for Generative Models
• Title（参考訳）: 生成モデルに対するシンクホーン自然勾配
• Authors: Zebang Shen and Zhenfu Wang and Alejandro Ribeiro and Hamed Hassani
• Abstract要約: 本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。 本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。 本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
• 参考スコア（独自算出の注目度）: 125.89871274202439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of minimizing a functional over a parametric family of probability measures, where the parameterization is characterized via a push-forward structure. An important application of this problem is in training generative adversarial networks. In this regard, we propose a novel Sinkhorn Natural Gradient (SiNG) algorithm which acts as a steepest descent method on the probability space endowed with the Sinkhorn divergence. We show that the Sinkhorn information matrix (SIM), a key component of SiNG, has an explicit expression and can be evaluated accurately in complexity that scales logarithmically with respect to the desired accuracy. This is in sharp contrast to existing natural gradient methods that can only be carried out approximately. Moreover, in practical applications when only Monte-Carlo type integration is available, we design an empirical estimator for SIM and provide the stability analysis. In our experiments, we quantitatively compare SiNG with state-of-the-art SGD-type solvers on generative tasks to demonstrate its efficiency and efficacy of our method.
• Abstract（参考訳）: 本稿では,パラメータ化がプッシュフォワード構造によって特徴づけられるパラメトリックな確率測度に対して関数を最小化する問題を考える。 この問題の重要な応用は、生成的敵ネットワークのトレーニングである。 本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。 我々は,SiNGのキーコンポーネントであるシンクホーン情報行列(SIM)が明示的な表現を持ち,所望の精度で対数的にスケールする複雑性を正確に評価できることを示した。 これは、およそしか実行できない既存の自然勾配法とは対照的である。 さらに,モンテカルロ型統合のみの実用化においては,SIMの実証的推定器を設計し,安定性解析を行う。 本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Nonparametric estimation of Hawkes processes with RKHSs [1.775610745277615]
  本稿では、再生カーネル空間(RKHS)に相互作用関数が存在すると仮定した非線形ホークス過程の非パラメトリック推定について述べる。 神経科学の応用によって動機づけられたこのモデルは、エキサイティングな効果と阻害的な効果を表現するために、複雑な相互作用機能を実現する。 本手法は, 関連する非パラメトリック推定手法よりも優れた性能を示し, 神経応用に適していることが示唆された。
  論文  参考訳（メタデータ） (2024-11-01T14:26:50Z)
• Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent [0.3831327965422187]
  本稿では,勾配降下(SGD)における適応ステップサイズに対する新しいアプローチを提案する。 我々は、勾配に対するリプシッツ定数と探索方向の局所的分散の概念という、数値的にトレース可能な量を用いる。
  論文  参考訳（メタデータ） (2023-11-28T17:03:56Z)
• Smoothing Methods for Automatic Differentiation Across Conditional Branches [0.0]
  スムース解釈(SI)は、プログラムの出力とガウス核との畳み込みを近似し、原理的にその出力を滑らかにする。 SIと自動微分(AD)を組み合わせることで、スムーズなプログラムの勾配を効率的に計算する。 本稿では,ADとサンプリングを組み合わせたスムーズなプログラムの勾配を推定することにより,基礎となる仮定を回避する新しいモンテカルロ推定法を提案する。
  論文  参考訳（メタデータ） (2023-10-05T15:08:37Z)
• Numerically Stable Sparse Gaussian Processes via Minimum Separation using Cover Trees [57.67528738886731]
  誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。 地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-14T15:20:17Z)
• Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
  線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。 準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
  論文  参考訳（メタデータ） (2022-05-26T20:56:25Z)
• Scalable Stochastic Parametric Verification with Stochastic Variational Smoothed Model Checking [1.5293427903448025]
  平滑モデル検査 (smMC) は, パラメータ空間全体の満足度関数を, 限られた観測値から推定することを目的としている。 本稿では,確率論的機械学習の最近の進歩を利用して,この限界を推し進める。 構成された満足度関数のスケーラビリティ,計算効率,精度を調べた結果,smMCとSV-smMCの性能を比較した。
  論文  参考訳（メタデータ） (2022-05-11T10:43:23Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
  本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。 この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-14T01:27:32Z)
• Convergence and sample complexity of gradient methods for the model-free linear quadratic regulator problem [27.09339991866556]
  本稿では,コントローラの空間を直接探索することにより,未知の計算系に対する最適制御を求める。 我々は、安定化フィードバックゲインの勾配-フローのダイナミクスセットに焦点をあてて、そのような手法の性能と効率を最小化するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2019-12-26T16:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。