論文の概要: Lipschitz regularized gradient flows and latent generative particles

• arxiv url: http://arxiv.org/abs/2210.17230v1
• Date: Mon, 31 Oct 2022 11:15:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 15:57:10.720745
• Title: Lipschitz regularized gradient flows and latent generative particles
• Title（参考訳）: リプシッツ正規化勾配流と潜在生成粒子
• Authors: Hyemin Gu, Panagiota Birmpa, Yiannis Pantazis, Luc Rey-Bellet, Markos A. Katsoulakis
• Abstract要約: リプシッツ正則化f-ディバージェンスは、微分器のリプシッツ定数に有界を変動表現で与えることによって構成される。 これらの発散に基づく確率測度空間上のリプシッツ正規化勾配流を構成する。 実験的な測定のために、勾配流のリプシッツ正則化は数値的に安定な輸送器/識別器粒子アルゴリズムを誘導する。
• 参考スコア（独自算出の注目度）: 2.099922236065961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lipschitz regularized f-divergences are constructed by imposing a bound on the Lipschitz constant of the discriminator in the variational representation. They interpolate between the Wasserstein metric and f-divergences and provide a flexible family of loss functions for non-absolutely continuous (e.g. empirical) distributions, possibly with heavy tails. We construct Lipschitz regularized gradient flows on the space of probability measures based on these divergences. Examples of such gradient flows are Lipschitz regularized Fokker-Planck and porous medium partial differential equations (PDEs) for the Kullback-Leibler and alpha-divergences, respectively. The regularization corresponds to imposing a Courant-Friedrichs-Lewy numerical stability condition on the PDEs. For empirical measures, the Lipschitz regularization on gradient flows induces a numerically stable transporter/discriminator particle algorithm, where the generative particles are transported along the gradient of the discriminator. The gradient structure leads to a regularized Fisher information (particle kinetic energy) used to track the convergence of the algorithm. The Lipschitz regularized discriminator can be implemented via neural network spectral normalization and the particle algorithm generates approximate samples from possibly high-dimensional distributions known only from data. Notably, our particle algorithm can generate synthetic data even in small sample size regimes. A new data processing inequality for the regularized divergence allows us to combine our particle algorithm with representation learning, e.g. autoencoder architectures. The resulting algorithm yields markedly improved generative properties in terms of efficiency and quality of the synthetic samples. From a statistical mechanics perspective the encoding can be interpreted dynamically as learning a better mobility for the generative particles.
• Abstract（参考訳）: リプシッツ正規化f-divergencesは、変分表現における判別器のリプシッツ定数に束縛して構成される。 それらはワッサーシュタイン計量とf-分岐の間を補間し、おそらく重い尾を持つ非絶対連続(例えば経験的)分布に対するフレキシブルな損失関数の族を与える。 これらの発散に基づく確率測度空間上のリプシッツ正規化勾配流を構成する。 このような勾配流の例として、リプシッツ正則化フォッカー・プランクや、クルバック・リーバーとアルファ・ディバージェンスの多孔質媒質偏微分方程式(PDE)がある。 正規化は、Courant-Friedrichs-Lewy数値安定性条件をPDEに課すことに対応する。 実験的な測定では、勾配流上のリプシッツ正則化は数値的に安定なトランスポーター/判別器粒子アルゴリズムを誘導し、生成粒子は判別器の勾配に沿って輸送される。 勾配構造は、アルゴリズムの収束を追跡するために使われる正規化フィッシャー情報(粒子運動エネルギー)につながる。 リプシッツ正規化判別器はニューラルネットワークのスペクトル正規化によって実装でき、粒子アルゴリズムはデータからのみ知られる高次元分布から近似サンプルを生成する。 特に粒子アルゴリズムはサンプルサイズが小さくても合成データを生成することができる。 正規化分散のための新しいデータ処理の不等式により、粒子アルゴリズムと表現学習、例えばオートエンコーダアーキテクチャを組み合わせることができる。 得られたアルゴリズムは, 合成試料の効率および品質の観点から, 生成特性を著しく向上させる。 統計力学の観点からは、符号化は生成粒子のより良い移動性を学ぶものとして動的に解釈できる。

関連論文リスト

• Adversarial Likelihood Estimation With One-Way Flows [44.684952377918904]
  GAN(Generative Adversarial Networks)は、高品質なサンプルを生成することができるが、サンプル周辺の確率密度を見積もることはできない。 提案手法は, より高速に収束し, 類似したアーキテクチャでGANに匹敵するサンプル品質を生成し, 一般的に使用されるデータセットの過度な適合を回避し, トレーニングデータのスムーズな低次元潜在表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T10:26:29Z)
• Linearized Wasserstein dimensionality reduction with approximation guarantees [65.16758672591365]
  LOT Wassmap は、ワーッサーシュタイン空間の低次元構造を明らかにするための計算可能なアルゴリズムである。 我々は,LOT Wassmapが正しい埋め込みを実現し,サンプルサイズの増加とともに品質が向上することを示す。 また、LOT Wassmapがペア距離計算に依存するアルゴリズムと比較して計算コストを大幅に削減することを示す。
  論文  参考訳（メタデータ） (2023-02-14T22:12:16Z)
• Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
  観測結果からサンプリング分布を学習する4つの方法を提案する。 実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:50:21Z)
• Dynamic Flows on Curved Space Generated by Labeled Data [17.621847430986854]
  興味のあるデータセットに近い新しいサンプルを生成するための勾配流法を提案する。 本手法は,移動学習環境における分類モデルの精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-01-31T19:53:01Z)
• ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
  正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。 摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。 最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
  論文  参考訳（メタデータ） (2022-08-18T16:07:59Z)
• Adaptive Cholesky Gaussian Processes [7.684183064816171]
  本稿では,データの部分集合のみを考慮し,正確なガウス過程モデルを大規模データセットに適合させる手法を提案する。 我々のアプローチは、計算オーバーヘッドが少ない正確な推論中に、サブセットのサイズがフライで選択されるという点で新しくなっています。
  論文  参考訳（メタデータ） (2022-02-22T09:43:46Z)
• A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data [71.9573352891936]
  本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。 楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。 合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T10:01:37Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。