論文の概要: VAE Approximation Error: ELBO and Conditional Independence

• arxiv url: http://arxiv.org/abs/2102.09310v1
• Date: Thu, 18 Feb 2021 12:54:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-19 14:34:16.021209
• Title: VAE Approximation Error: ELBO and Conditional Independence
• Title（参考訳）: VAE近似誤差:ELBOと条件付き独立
• Authors: Dmitrij Schlesinger, Alexander Shekhovtsov, Boris Flach
• Abstract要約: 本稿では,ELBO目標とエンコーダ確率系列の選択の組み合わせによるVAE近似誤差を解析する。 より深いエンコーダネットワークを考慮すれば,ELBOサブセットを拡大することができず,各エラーを低減できないことを示す。
• 参考スコア（独自算出の注目度）: 78.72292013299868
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The importance of Variational Autoencoders reaches far beyond standalone generative models -- the approach is also used for learning latent representations and can be generalized to semi-supervised learning. This requires a thorough analysis of their commonly known shortcomings: posterior collapse and approximation errors. This paper analyzes VAE approximation errors caused by the combination of the ELBO objective with the choice of the encoder probability family, in particular under conditional independence assumptions. We identify the subclass of generative models consistent with the encoder family. We show that the ELBO optimizer is pulled from the likelihood optimizer towards this consistent subset. Furthermore, this subset can not be enlarged, and the respective error cannot be decreased, by only considering deeper encoder networks.
• Abstract（参考訳）: Variational Autoencoderの重要性は、スタンドアロンのジェネレーティブモデルにとどまらず、遅延表現の学習にも使用され、半教師付き学習に一般化することができる。 これは一般的に知られている欠点である後部崩壊と近似誤差の徹底的な解析を必要とする。 本稿では,ELBO目標とエンコーダ確率系列の選択の組み合わせによるVAE近似誤差を,特に条件付き独立仮定の下で解析する。 我々はエンコーダファミリーに準拠した生成モデルのサブクラスを同定する。 我々は、ELBOオプティマイザが可能性オプティマイザからこの一貫性のあるサブセットに向かって引き出されることを示した。 さらに、このサブセットを拡大することはできず、より深いエンコーダネットワークを考慮するだけで、各エラーを削減できない。

関連論文リスト

• Likelihood-based Differentiable Structure Learning [38.25218464260965]
  有向非巡回グラフ(DAG)の微分可能な構造学習への既存のアプローチは、強い識別可能性仮定に依存している。 一般確率下での微分可能非周期制約プログラムの挙動を解析することにより,これらの問題を説明・改善する。
  論文  参考訳（メタデータ） (2024-10-08T16:08:24Z)
• Fusing Dictionary Learning and Support Vector Machines for Unsupervised Anomaly Detection [1.5999407512883508]
  本稿では,OC-SVMとDL残差関数を1つの合成対象に統一する新たな異常検出モデルを提案する。 両方の目的をカーネル関数の使用を可能にするより一般的な設定に拡張する。
  論文  参考訳（メタデータ） (2024-04-05T12:41:53Z)
• On the failure of variational score matching for VAE models [3.8073142980733]
  本稿では,多様なデータセットやネットワークアーキテクチャ上での破滅的な障害を示す,既存の変分SM目標に対する批判的研究について述べる。 可変オートエンコーダ (VAE) モデルを最適化する際に, 等価な自動エンコード損失から目的に関する理論的知見が直接現れる。
  論文  参考訳（メタデータ） (2022-10-24T16:43:04Z)
• Embrace the Gap: VAEs Perform Independent Mechanism Analysis [36.686468842036305]
  ほぼ決定論的デコーダの極限における非線形VAEについて検討する。 我々は、データ生成プロセスがIMAの仮定を満たすとき、VAEが真の潜伏要因を明らかにすることを示す。
  論文  参考訳（メタデータ） (2022-06-06T08:19:19Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Outlier-Robust Learning of Ising Models Under Dobrushin's Condition [57.89518300699042]
  本研究では, サンプルの一定割合が逆向きに破壊されるような外乱条件下で, ドブルシンの条件を満たすIsingモデルの学習問題について検討する。 我々の主な成果は、ほぼ最適誤差保証を伴うこの問題に対して、計算効率のよい最初の頑健な学習アルゴリズムを提供することである。
  論文  参考訳（メタデータ） (2021-02-03T18:00:57Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• General stochastic separation theorems with optimal bounds [68.8204255655161]
  分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。 エラーやエラーのクラスタは、残りのデータから分離することができる。 AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
  論文  参考訳（メタデータ） (2020-10-11T13:12:41Z)
• Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
  確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。 鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
  論文  参考訳（メタデータ） (2020-07-20T18:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。