論文の概要: A Generalised Linear Model Framework for $\beta$-Variational
Autoencoders based on Exponential Dispersion Families
- arxiv url: http://arxiv.org/abs/2006.06267v3
- Date: Mon, 11 Oct 2021 17:02:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 09:54:57.698617
- Title: A Generalised Linear Model Framework for $\beta$-Variational
Autoencoders based on Exponential Dispersion Families
- Title(参考訳): 指数分散ファミリに基づく$\beta$-変数自動エンコーダのための一般化線形モデルフレームワーク
- Authors: Robert Sicks, Ralf Korn, Stefanie Schwaar
- Abstract要約: 我々は$beta$-VAEと一般化線形モデル(GLM)の接続に基づく理論的枠組みを導入する。
我々は、観測モデル分布が指数分散族(EDF)に属するという仮定に基づいて、$beta$-VAEの損失解析を体系的に一般化する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although variational autoencoders (VAE) are successfully used to obtain
meaningful low-dimensional representations for high-dimensional data, the
characterization of critical points of the loss function for general
observation models is not fully understood. We introduce a theoretical
framework that is based on a connection between $\beta$-VAE and generalized
linear models (GLM). The equality between the activation function of a
$\beta$-VAE and the inverse of the link function of a GLM enables us to provide
a systematic generalization of the loss analysis for $\beta$-VAE based on the
assumption that the observation model distribution belongs to an exponential
dispersion family (EDF). As a result, we can initialize $\beta$-VAE nets by
maximum likelihood estimates (MLE) that enhance the training performance on
both synthetic and real world data sets. As a further consequence, we
analytically describe the auto-pruning property inherent in the $\beta$-VAE
objective and reason for posterior collapse.
- Abstract(参考訳): 変分オートエンコーダ (vae) は高次元データの有意義な低次元表現を得るのに有効であるが、一般観測モデルの損失関数の臨界点のキャラクタリゼーションは十分に理解されていない。
本稿では,$\beta$-VAEと一般化線形モデル(GLM)の接続に基づく理論的枠組みを提案する。
GLMのリンク関数の逆関数と$\beta$-VAEの活性化関数の等式は、観測モデル分布が指数分散族(EDF)に属するという仮定に基づいて、$\beta$-VAEの損失解析を体系的に一般化することを可能にする。
その結果,最大推定値(MLE)によって$\beta$-VAEネットを初期化することができ,合成および実世界のデータセットのトレーニング性能を向上させることができる。
さらなる結果として、$\beta$-VAEの目的に固有のオートプルーニング特性と後部崩壊の原因を解析的に記述する。
関連論文リスト
- Matching aggregate posteriors in the variational autoencoder [0.5759862457142761]
変分オートエンコーダ(VAE)は、よく研究され、深い、潜伏変数モデル(DLVM)である。
本稿では,VAE に付随する目的関数を改良することにより,VAE の欠点を克服する。
提案手法はEmphaggregate variational autoencoder (AVAE) と命名され,VAEの理論的枠組みに基づいて構築されている。
論文 参考訳(メタデータ) (2023-11-13T19:22:37Z) - Online non-parametric likelihood-ratio estimation by Pearson-divergence
functional minimization [55.98760097296213]
iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。
本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
論文 参考訳(メタデータ) (2023-11-03T13:20:11Z) - Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。
提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。
合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
論文 参考訳(メタデータ) (2023-10-03T20:37:03Z) - A Robustness Analysis of Blind Source Separation [91.3755431537592]
ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。
このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。
定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
論文 参考訳(メタデータ) (2023-03-17T16:30:51Z) - Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a
Decoupled Decoder [0.553073476964056]
VAEトレーニングの現在の実践は、しばしば、再構成の忠実さと、潜伏空間の連続性$/$$分散の間のトレードオフをもたらす。
本稿では,2つの損失の対角的機構の直観と注意深い解析を行い,VAEを訓練するための簡易で効果的な2段階法を提案する。
本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。
論文 参考訳(メタデータ) (2022-09-29T13:49:57Z) - uGLAD: Sparse graph recovery by optimizing deep unrolled networks [11.48281545083889]
深層ネットワークを最適化してスパースグラフ復元を行う新しい手法を提案する。
我々のモデルであるuGLADは、最先端モデルGLADを教師なし設定に構築し、拡張します。
我々は, 遺伝子調節ネットワークから生成した合成ガウスデータ, 非ガウスデータを用いて, モデル解析を行い, 嫌気性消化の事例研究を行った。
論文 参考訳(メタデータ) (2022-05-23T20:20:27Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳(メタデータ) (2021-01-06T17:36:26Z) - Posterior Differential Regularization with f-divergence for Improving
Model Robustness [95.05725916287376]
クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。
後微分正則化を$f$-divergencesの族に一般化する。
実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
論文 参考訳(メタデータ) (2020-10-23T19:58:01Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳(メタデータ) (2020-02-05T00:24:53Z) - On Implicit Regularization in $\beta$-VAEs [32.674190005384204]
2つの観点から,変分分布の正規化が生成モデルの学習に及ぼす影響について検討した。
まず、最適な生成モデルの集合を制限することにより、学習モデルに変異族の選択が一意的に作用する役割を解析する。
次に,変分族が復号モデルの局所的幾何に与える影響について検討する。
論文 参考訳(メタデータ) (2020-01-31T19:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。