論文の概要: Embrace the Gap: VAEs Perform Independent Mechanism Analysis

• arxiv url: http://arxiv.org/abs/2206.02416v1
• Date: Mon, 6 Jun 2022 08:19:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 14:18:31.684050
• Title: Embrace the Gap: VAEs Perform Independent Mechanism Analysis
• Title（参考訳）: ギャップを受け入れる - vaesは独立したメカニズム分析を行う
• Authors: Patrik Reizinger, Luigi Gresele, Jack Brady, Julius von K\"ugelgen, Dominik Zietlow, Bernhard Sch\"olkopf, Georg Martius, Wieland Brendel, Michel Besserve
• Abstract要約: ほぼ決定論的デコーダの極限における非線形VAEについて検討する。 我々は、データ生成プロセスがIMAの仮定を満たすとき、VAEが真の潜伏要因を明らかにすることを示す。
• 参考スコア（独自算出の注目度）: 36.686468842036305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational autoencoders (VAEs) are a popular framework for modeling complex data distributions; they can be efficiently trained via variational inference by maximizing the evidence lower bound (ELBO), at the expense of a gap to the exact (log-)marginal likelihood. While VAEs are commonly used for representation learning, it is unclear why ELBO maximization would yield useful representations, since unregularized maximum likelihood estimation cannot invert the data-generating process. Yet, VAEs often succeed at this task. We seek to elucidate this apparent paradox by studying nonlinear VAEs in the limit of near-deterministic decoders. We first prove that, in this regime, the optimal encoder approximately inverts the decoder -- a commonly used but unproven conjecture -- which we refer to as {\em self-consistency}. Leveraging self-consistency, we show that the ELBO converges to a regularized log-likelihood. This allows VAEs to perform what has recently been termed independent mechanism analysis (IMA): it adds an inductive bias towards decoders with column-orthogonal Jacobians, which helps recovering the true latent factors. The gap between ELBO and log-likelihood is therefore welcome, since it bears unanticipated benefits for nonlinear representation learning. In experiments on synthetic and image data, we show that VAEs uncover the true latent factors when the data generating process satisfies the IMA assumption.
• Abstract（参考訳）: 変分オートエンコーダ(VAE)は、複雑なデータ分布をモデル化するための一般的なフレームワークであり、正確な(log-)マージ的可能性とのギャップを犠牲にして、ELBO(エビデンス)を最大化することで、変分推論によって効率的に訓練することができる。 VAEは一般的に表現学習に使用されるが、非正規化最大推定ではデータ生成過程を逆転できないため、ELBOの最大化が有用な表現をもたらす理由は不明である。 しかし、VAEはこのタスクでしばしば成功します。 我々は非線形のvaesを近似決定論的デコーダの極限で研究することでこの明らかなパラドックスを解明しようとする。 この状態において、最適エンコーダはデコーダ(一般的には使われるが証明されていない予想)をほぼ逆転させ、これを {\em self-consistency} と呼ぶ。 自己整合性を利用して、ELBOが正規化ログに収束することを示す。 これにより、vaesは、最近independent mechanism analysis(ima)と呼ばれるものを実行することができる: 真の潜在因子の回復に役立つ列-orthogonal jacobianを持つデコーダに対する帰納的バイアスを追加する。 ELBOとログライクリフのギャップは,非線形表現学習に期待できないメリットがあるため,歓迎される。 合成および画像データに関する実験では、データ生成プロセスがIMAの仮定を満たすとき、VAEが真の潜伏因子を明らかにする。

関連論文リスト

• Symmetric Equilibrium Learning of VAEs [56.56929742714685]
  可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。 本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
  論文  参考訳（メタデータ） (2023-07-19T10:27:34Z)
• Exploiting Independent Instruments: Identification and Distribution Generalization [3.701112941066256]
  我々は、より高い瞬間を考慮に入れ、分布一般化の独立性を利用する。 提案した推定器は楽器の分布シフトに不変であることを示す。 これらの結果は、楽器が因果関数を識別するのに十分な豊かでない場合においても成り立つ。
  論文  参考訳（メタデータ） (2022-02-03T21:49:04Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• VAE Approximation Error: ELBO and Conditional Independence [78.72292013299868]
  本稿では,ELBO目標とエンコーダ確率系列の選択の組み合わせによるVAE近似誤差を解析する。 より深いエンコーダネットワークを考慮すれば,ELBOサブセットを拡大することができず,各エラーを低減できないことを示す。
  論文  参考訳（メタデータ） (2021-02-18T12:54:42Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
  確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。 鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
  論文  参考訳（メタデータ） (2020-07-20T18:18:39Z)
• Variational Auto-Encoder: not all failures are equal [0.0]
  我々は,VAEのぼかし問題に対して,鋭さ学習がいかに対処しているかを示す。 この論文は、人工データ(MNISTとCelebA)の実験に基づいており、その鋭さ学習が、悪名高いVAEのぼかし問題にどのように対処するかを示している。
  論文  参考訳（メタデータ） (2020-03-04T09:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。