論文の概要: Epanechnikov Variational Autoencoder

• arxiv url: http://arxiv.org/abs/2405.12783v1
• Date: Tue, 21 May 2024 13:29:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 13:10:09.387492
• Title: Epanechnikov Variational Autoencoder
• Title（参考訳）: エパネチニコフ変分オートエンコーダ
• Authors: Tian Qin, Wei-Min Huang,
• Abstract要約: 可変オートエンコーダ(VAE)とカーネル密度推定(KDE)を橋渡しする 我々は、エビデンスローバウンド(ELBO)におけるクルバック・リーブラ(KL)偏差の上界を導出する。 ELBO における Epanechnikov カーネルの実装は、分布の「位置スケール」ファミリーにあるため、簡単である。
• 参考スコア（独自算出の注目度）: 7.262815775303641
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we bridge Variational Autoencoders (VAEs) [17] and kernel density estimations (KDEs) [25 ],[23] by approximating the posterior by KDEs and deriving an upper bound of the Kullback-Leibler (KL) divergence in the evidence lower bound (ELBO). The flexibility of KDEs makes the optimization of posteriors in VAEs possible, which not only addresses the limitations of Gaussian latent space in vanilla VAE but also provides a new perspective of estimating the KL-divergence in ELBO. Under appropriate conditions [ 9],[3 ], we show that the Epanechnikov kernel is the optimal choice in minimizing the derived upper bound of KL-divergence asymptotically. Compared with Gaussian kernel, Epanechnikov kernel has compact support which should make the generated sample less noisy and blurry. The implementation of Epanechnikov kernel in ELBO is straightforward as it lies in the "location-scale" family of distributions where the reparametrization tricks can be directly employed. A series of experiments on benchmark datasets such as MNIST, Fashion-MNIST, CIFAR-10 and CelebA further demonstrate the superiority of Epanechnikov Variational Autoenocoder (EVAE) over vanilla VAE in the quality of reconstructed images, as measured by the FID score and Sharpness[27].
• Abstract（参考訳）: 本稿では,KDEによる後方の近似と,ELBO(エビデンス・ローバウンド)におけるKullback-Leibler(KL)の偏差を導出することにより,VAE(VAEs) [17)とカーネル密度推定(KDEs) [25 ],[23]を橋渡しする。 KDEの柔軟性により、VAEの後方の最適化が可能となり、バニラVAEのガウス潜在空間の制限に対処するだけでなく、ELBOにおけるKL偏差を推定する新たな視点を提供する。 適切な条件 [9],[3 ] の下では、エパネチニコフ核がKL-発散の導出上限を漸近的に最小化する最適選択であることを示す。 ガウスカーネルと比較すると、エパネチニコフカーネルはコンパクトなサポートを備えており、それによって生成されたサンプルのノイズやぼやけが軽減される。 ELBO における Epanechnikov カーネルの実装は、再パラメータ化のトリックを直接適用可能な "ロケーションスケール" ディストリビューションのファミリにあるため、簡単である。 MNIST, Fashion-MNIST, CIFAR-10, CelebAなどのベンチマークデータセットに関する一連の実験では、FIDスコアとシャープネス[27]で測定されたように、バニラVAEよりもベニラVAEの方が優れていることが示されている。

関連論文リスト

• Kernel Semi-Implicit Variational Inference [27.61976547543748]
  半単純変分推論(SIVI)は、半単純分布を階層的に定義した従来の変分族を拡張している。 SIVIの最近の進歩はSIVI-SMと呼ばれ、ミニマックスの定式化によって抽出可能な別のスコアマッチングの目的を利用している。 我々は、カーネルトリックによる低レベル最適化を不要とするSIVI-SMの亜種であるカーネルSIVI(KSIVI)を提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:21:25Z)
• Variance-Reducing Couplings for Random Features: Perspectives from Optimal Transport [57.73648780299374]
  ランダム機能(RF)は、機械学習におけるカーネルメソッドをスケールアップするための一般的なテクニックであり、正確なカーネル評価をモンテカルロ推定に置き換える。 我々は、理論的洞察と数値アルゴリズムを用いて最適な輸送の統一的な枠組みを用いて、ユークリッドおよび離散入力空間上で定義されたカーネルに対して、新しい高性能なRF結合を開発する。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Self-Attention through Kernel-Eigen Pair Sparse Variational Gaussian Processes [20.023544206079304]
  我々は不確実性を考慮した自己注意構築のためのKEP-SVGP(Kernel-Eigen Pair Sparse Variational Gaussian Process)を提案する。 In-distriion, distribution-shift, out-of-distriionベンチマークにおける優れた性能と効率を検証した。
  論文  参考訳（メタデータ） (2024-02-02T15:05:13Z)
• Matching aggregate posteriors in the variational autoencoder [0.5759862457142761]
  変分オートエンコーダ(VAE)は、よく研究され、深い、潜伏変数モデル(DLVM)である。 本稿では,VAE に付随する目的関数を改良することにより,VAE の欠点を克服する。 提案手法はEmphaggregate variational autoencoder (AVAE) と命名され,VAEの理論的枠組みに基づいて構築されている。
  論文  参考訳（メタデータ） (2023-11-13T19:22:37Z)
• The Schr\"odinger Bridge between Gaussian Measures has a Closed Form [101.79851806388699]
  我々は OT の動的定式化(Schr"odinger bridge (SB) 問題)に焦点を当てる。 本稿では,ガウス測度間のSBに対する閉形式表現について述べる。
  論文  参考訳（メタデータ） (2022-02-11T15:59:01Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Neighbor Embedding Variational Autoencoder [14.08587678497785]
  本稿では,入力空間に近接する入力を符号化するために,エンコーダを明示的に制約する新しいモデルであるVAE(NE-VAE)を提案する。 我々の実験では、NE-VAEは定性的に異なる潜伏表現を生成できるが、ほとんどの潜伏次元はアクティブのままである。
  論文  参考訳（メタデータ） (2021-03-21T09:49:12Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains [34.77971292478243]
  変分オートエンコーダ(VAE)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、潜伏変数モデルである。 ログ型勾配の偏りのない推定器を導入することにより,VAEのトレーニング手法を開発する。 偏りのない推定器を装着したVAEは予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-10-05T08:11:55Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)
• Stochastic Normalizing Flows [52.92110730286403]
  微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。 粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。 これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-02-21T20:47:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。