論文の概要: Understanding Entropic Regularization in GANs
- arxiv url: http://arxiv.org/abs/2111.01387v1
- Date: Tue, 2 Nov 2021 06:08:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-03 12:47:41.888291
- Title: Understanding Entropic Regularization in GANs
- Title（参考訳）: GANにおけるエントロピー規則化の理解
- Authors: Daria Reshetova, Yikun Bai, Xiugang Wu, Ayfer Ozgur
- Abstract要約: We study the influence of regularization on the learned solution of Wasserstein distance。
エントロピー正則化は解のスパース化を促進するが、ワッサーシュタイン距離をシンクホルン発散に置き換えると、非正規化解が回復する。
これらの正則化手法は,大規模な分布に対して経験的データから学習したジェネレータの品質を向上させることができると結論付けている。
- 参考スコア（独自算出の注目度）: 5.448283690603358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative Adversarial Networks are a popular method for learning
distributions from data by modeling the target distribution as a function of a
known distribution. The function, often referred to as the generator, is
optimized to minimize a chosen distance measure between the generated and
target distributions. One commonly used measure for this purpose is the
Wasserstein distance. However, Wasserstein distance is hard to compute and
optimize, and in practice entropic regularization techniques are used to
improve numerical convergence. The influence of regularization on the learned
solution, however, remains not well-understood. In this paper, we study how
several popular entropic regularizations of Wasserstein distance impact the
solution in a simple benchmark setting where the generator is linear and the
target distribution is high-dimensional Gaussian. We show that entropy
regularization promotes the solution sparsification, while replacing the
Wasserstein distance with the Sinkhorn divergence recovers the unregularized
solution. Both regularization techniques remove the curse of dimensionality
suffered by Wasserstein distance. We show that the optimal generator can be
learned to accuracy $\epsilon$ with $O(1/\epsilon^2)$ samples from the target
distribution. We thus conclude that these regularization techniques can improve
the quality of the generator learned from empirical data for a large class of
distributions.
- Abstract（参考訳）: Generative Adversarial Networksは、対象の分布を既知の分布の関数としてモデル化することで、データから分布を学習する一般的な方法である。
ジェネレータと呼ばれるこの関数は、生成された分布と目標分布の間の選択された距離測度を最小化するために最適化される。
この目的のためによく使われる測度の一つがワッサーシュタイン距離である。
しかし、wasserstein距離の計算と最適化は困難であり、実際にはエントロピー正規化技術は数値収束を改善するために用いられる。
しかし、学習した解に対する正規化の影響はよく理解されていない。
本稿では, ワッサーシュタイン距離の一般的なエントロピー正規化が, ジェネレータが線形であり, ターゲット分布が高次元ガウス的な単純なベンチマーク設定において, どのように解に影響を及ぼすかを検討する。
エントロピー正則化は解のスパース化を促進するが、ワッサーシュタイン距離をシンクホルン発散に置き換えると、非正規化解が回復する。
どちらの正規化技術も、ワッサーシュタイン距離に苦しむ次元の呪いを取り除く。
最適生成器は目標分布から$O(1/\epsilon^2)のサンプルで$\epsilon$を精度良く学習できることを示す。
その結果,これらの正規化手法は,多種多様な分布に対する経験的データから学習した生成器の品質を向上させることができることがわかった。
関連論文リスト
- Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。
最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。
RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
論文 参考訳（メタデータ） (2024-10-19T02:36:11Z) - Adversarial Likelihood Estimation With One-Way Flows [44.684952377918904]
GAN(Generative Adversarial Networks)は、高品質なサンプルを生成することができるが、サンプル周辺の確率密度を見積もることはできない。
提案手法は, より高速に収束し, 類似したアーキテクチャでGANに匹敵するサンプル品質を生成し, 一般的に使用されるデータセットの過度な適合を回避し, トレーニングデータのスムーズな低次元潜在表現を生成する。
論文 参考訳（メタデータ） (2023-07-19T10:26:29Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Approximating a RUM from Distributions on k-Slates [88.32814292632675]
与えられた分布を平均で最もよく近似するRUMを求める一般化時間アルゴリズムを求める。
我々の理論的結果は、実世界のデータセットに効果的でスケール可能なものを得るという、実践的な結果も得られます。
論文 参考訳（メタデータ） (2023-05-22T17:43:34Z) - Nonlinear Sufficient Dimension Reduction for
Distribution-on-Distribution Regression [9.086237593805173]
本稿では,予測値と応答値の両方が分布データである場合に,非線形に十分な次元を減少させる新しい手法を提案する。
我々の重要なステップは、計量空間上に普遍カーネル(cc-ユニバーサル)を構築することである。
論文 参考訳（メタデータ） (2022-07-11T04:11:36Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - Projected Sliced Wasserstein Autoencoder-based Hyperspectral Images
Anomaly Detection [42.585075865267946]
本稿では,PSW自動エンコーダを用いた異常検出手法を提案する。
特に、計算フレンドリーな固有分解法を利用して、高次元データをスライスする主成分を見つける。
様々な実世界のハイパースペクトル異常検出ベンチマークで実施した総合的な実験は,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2021-12-20T09:21:02Z) - Fast Approximation of the Sliced-Wasserstein Distance Using
Concentration of Random Projections [19.987683989865708]
Sliced-Wasserstein distance (SW) は、機械学習アプリケーションでますます使われている。
本稿では,測度現象の集中を利用してSWを近似する新しい視点を提案する。
提案手法は多数のランダムなプロジェクションをサンプリングする必要はなく,通常のモンテカルロ近似と比較して正確かつ容易に利用できる。
論文 参考訳（メタデータ） (2021-06-29T13:56:19Z) - Non-asymptotic convergence bounds for Wasserstein approximation using
point clouds [0.0]
モデル確率分布からサンプルしたような離散データを生成する方法を示す。
収束型アルゴリズムに対して明示的な上限を与える。
論文 参考訳（メタデータ） (2021-06-15T06:53:08Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳（メタデータ） (2020-12-21T18:33:13Z) - Debiasing Distributed Second Order Optimization with Surrogate Sketching
and Scaled Regularization [101.5159744660701]
分散第2次最適化において、標準的な戦略は、データの小さなスケッチやバッチに基づいて、多くの局所的な見積もりを平均化することである。
本稿では,分散二階法における収束率の理論的および実証的改善を両立させるため,局所的な推定を嫌悪する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-07-02T18:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。