Fugu-MT 論文翻訳(概要): Statistical Guarantees for Variational Autoencoders using PAC-Bayesian Theory

論文の概要: Statistical Guarantees for Variational Autoencoders using PAC-Bayesian Theory

arxiv url: http://arxiv.org/abs/2310.04935v1
Date: Sat, 7 Oct 2023 22:35:26 GMT
ステータス: 処理完了
システム内更新日: 2023-10-12 14:14:56.914182
Title: Statistical Guarantees for Variational Autoencoders using PAC-Bayesian Theory
Title（参考訳）: PAC-ベイズ理論を用いた変分オートエンコーダの統計的保証
Authors: Sokhna Diarra Mbacke, Florence Clerc, Pascal Germain
Abstract要約: 変分オートエンコーダ(VAE)は機械学習の中心となっている。この研究は、PAC-ベイジアン理論を用いて、VAEの統計的保証を開発する。
参考スコア（独自算出の注目度）: 2.828173677501078
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Since their inception, Variational Autoencoders (VAEs) have become central in machine learning. Despite their widespread use, numerous questions regarding their theoretical properties remain open. Using PAC-Bayesian theory, this work develops statistical guarantees for VAEs. First, we derive the first PAC-Bayesian bound for posterior distributions conditioned on individual samples from the data-generating distribution. Then, we utilize this result to develop generalization guarantees for the VAE's reconstruction loss, as well as upper bounds on the distance between the input and the regenerated distributions. More importantly, we provide upper bounds on the Wasserstein distance between the input distribution and the distribution defined by the VAE's generative model.
Abstract（参考訳）: その誕生以来、変分オートエンコーダ(VAE)は機械学習の中心となっている。広く使われているにもかかわらず、理論上の性質について多くの疑問が残る。 PAC-ベイジアン理論を用いて、この研究はVAEの統計的保証を発展させる。まず、データ生成分布から個々のサンプルに条件付き後続分布に対する最初のPAC-Bayesian境界を導出する。そして,この結果を用いて,vaeの復元損失に対する一般化保証と,入力と再生分布との間の距離の上限を定式化する。さらに重要なことは、入力分布とVAEの生成モデルで定義される分布の間のワッサーシュタイン距離の上限を与えることである。

関連論文リスト

Symmetric Equilibrium Learning of VAEs [56.56929742714685]
可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
論文参考訳（メタデータ） (2023-07-19T10:27:34Z)
Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
論文参考訳（メタデータ） (2023-06-14T08:00:49Z)
Dior-CVAE: Pre-trained Language Models and Diffusion Priors for Variational Dialog Generation [70.2283756542824]
Dior-CVAEは階層型条件変分オートエンコーダ(CVAE)である。拡散モデルを用いて、従来の分布の複雑さを増大させ、PLMが生成した分布との整合性を高める。 2つのオープンドメインダイアログデータセットを対象とした実験により,大規模ダイアログ事前学習を必要とせずに,より多様な応答を生成できることが判明した。
論文参考訳（メタデータ） (2023-05-24T11:06:52Z)
Statistical Regeneration Guarantees of the Wasserstein Autoencoder with Latent Space Consistency [14.07437185521097]
We investigated the statistics of Wasserstein Autoencoder (WAE)。 We provide statistics guarantees that WAE achieves the target distribution in the latent space。本研究は、WAEが潜在法則の形で圧縮された後に再構築できる分布のクラスを示唆している。
論文参考訳（メタデータ） (2021-10-08T09:26:54Z)
Re-parameterizing VAEs for stability [1.90365714903665]
本稿では,変分オートエンコーダ(VAE)の数値安定性を訓練するための理論的アプローチを提案する。我々の研究は、VAEが複雑な画像データセット上のアート生成結果に到達できるようにするための最近の研究によって動機づけられている。我々は、それらが依存する正規分布のパラメータ化方法に小さな変更を加えることで、VAEを安全にトレーニングできることを示します。
論文参考訳（メタデータ） (2021-06-25T16:19:09Z)
Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
論文参考訳（メタデータ） (2021-06-09T12:13:51Z)
Generative Model without Prior Distribution Matching [26.91643368299913]
変分オートエンコーダ(VAE)とその変分は、いくつかの先行分布を満たすために低次元の潜在表現を学習することによって古典的な生成モデルである。我々は、先行変数に適合させるのではなく、先行変数が埋め込み分布と一致するように提案する。
論文参考訳（メタデータ） (2020-09-23T09:33:24Z)
Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文参考訳（メタデータ） (2020-07-13T02:52:18Z)
PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。学習したデータ依存分布はランダム化予測に使用される。
論文参考訳（メタデータ） (2020-06-23T14:30:24Z)
AI Giving Back to Statistics? Discovery of the Coordinate System of Univariate Distributions by Beta Variational Autoencoder [0.0]
本稿では、単変量経験分布を分類し、累積分布関数(CDF)の入力に基づいて2次元の潜伏空間で表現するためのニューラルネットワークのトレーニング経験について論じる。潜在2次元座標系上の表現は、CDFの形状、基礎となる理論分布とそのパラメータの分類確率、情報エントロピー、歪みなど、重要な分布特性を乱す実世界のデータの付加メタデータと見なすことができる。
論文参考訳（メタデータ） (2020-04-06T14:11:13Z)
GANs with Conditional Independence Graphs: On Subadditivity of Probability Divergences [70.30467057209405]
GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。 GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
論文参考訳（メタデータ） (2020-03-02T04:31:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。