論文の概要: A Generalised Linear Model Framework for $\beta$-Variational Autoencoders based on Exponential Dispersion Families

• arxiv url: http://arxiv.org/abs/2006.06267v3
• Date: Mon, 11 Oct 2021 17:02:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 09:54:57.698617
• Title: A Generalised Linear Model Framework for $\beta$-Variational Autoencoders based on Exponential Dispersion Families
• Title（参考訳）: 指数分散ファミリに基づく$\beta$-変数自動エンコーダのための一般化線形モデルフレームワーク
• Authors: Robert Sicks, Ralf Korn, Stefanie Schwaar
• Abstract要約: 我々は$beta$-VAEと一般化線形モデル(GLM)の接続に基づく理論的枠組みを導入する。 我々は、観測モデル分布が指数分散族(EDF)に属するという仮定に基づいて、$beta$-VAEの損失解析を体系的に一般化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although variational autoencoders (VAE) are successfully used to obtain meaningful low-dimensional representations for high-dimensional data, the characterization of critical points of the loss function for general observation models is not fully understood. We introduce a theoretical framework that is based on a connection between $\beta$-VAE and generalized linear models (GLM). The equality between the activation function of a $\beta$-VAE and the inverse of the link function of a GLM enables us to provide a systematic generalization of the loss analysis for $\beta$-VAE based on the assumption that the observation model distribution belongs to an exponential dispersion family (EDF). As a result, we can initialize $\beta$-VAE nets by maximum likelihood estimates (MLE) that enhance the training performance on both synthetic and real world data sets. As a further consequence, we analytically describe the auto-pruning property inherent in the $\beta$-VAE objective and reason for posterior collapse.
• Abstract（参考訳）: 変分オートエンコーダ (vae) は高次元データの有意義な低次元表現を得るのに有効であるが、一般観測モデルの損失関数の臨界点のキャラクタリゼーションは十分に理解されていない。 本稿では,$\beta$-VAEと一般化線形モデル(GLM)の接続に基づく理論的枠組みを提案する。 GLMのリンク関数の逆関数と$\beta$-VAEの活性化関数の等式は、観測モデル分布が指数分散族(EDF)に属するという仮定に基づいて、$\beta$-VAEの損失解析を体系的に一般化することを可能にする。 その結果,最大推定値(MLE)によって$\beta$-VAEネットを初期化することができ,合成および実世界のデータセットのトレーニング性能を向上させることができる。 さらなる結果として、$\beta$-VAEの目的に固有のオートプルーニング特性と後部崩壊の原因を解析的に記述する。

関連論文リスト

• $α$-TCVAE: On the relationship between Disentanglement and Diversity [21.811889512977924]
  本稿では,新しい全相関(TC)下界を用いて最適化された変分オートエンコーダである$alpha$-TCVAEを紹介する。 本稿では,不整合表現がより優れた生成能力と多様性をもたらすという考えを支持する定量的分析について述べる。 以上の結果から,$alpha$-TCVAEはベースラインよりも不整合表現を一貫して学習し,より多様な観測結果を生成することが示された。
  論文  参考訳（メタデータ） (2024-11-01T13:50:06Z)
• Theoretical Convergence Guarantees for Variational Autoencoders [2.8167997311962942]
  変分オートエンコーダ(VAE)は、複雑なデータ分布からサンプリングするために使われる一般的な生成モデルである。 本稿では, グラディエントDescentアルゴリズムとAdamアルゴリズムの両方を用いてトレーニングしたVAEに対して, 非漸近収束保証を提供することにより, このギャップを埋めることを目的とする。 我々の理論的分析は、Linear VAEとDeep Gaussian VAEの両方、および$beta$-VAEやIWAEを含むいくつかのVAEの変種に適用できる。
  論文  参考訳（メタデータ） (2024-10-22T07:12:38Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Matching aggregate posteriors in the variational autoencoder [0.5759862457142761]
  変分オートエンコーダ(VAE)は、よく研究され、深い、潜伏変数モデル(DLVM)である。 本稿では,VAE に付随する目的関数を改良することにより,VAE の欠点を克服する。 提案手法はEmphaggregate variational autoencoder (AVAE) と命名され,VAEの理論的枠組みに基づいて構築されている。
  論文  参考訳（メタデータ） (2023-11-13T19:22:37Z)
• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)
• A Robustness Analysis of Blind Source Separation [91.3755431537592]
  ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。 このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。 定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-17T16:30:51Z)
• uGLAD: Sparse graph recovery by optimizing deep unrolled networks [11.48281545083889]
  深層ネットワークを最適化してスパースグラフ復元を行う新しい手法を提案する。 我々のモデルであるuGLADは、最先端モデルGLADを教師なし設定に構築し、拡張します。 我々は, 遺伝子調節ネットワークから生成した合成ガウスデータ, 非ガウスデータを用いて, モデル解析を行い, 嫌気性消化の事例研究を行った。
  論文  参考訳（メタデータ） (2022-05-23T20:20:27Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• On Implicit Regularization in $\beta$-VAEs [32.674190005384204]
  2つの観点から,変分分布の正規化が生成モデルの学習に及ぼす影響について検討した。 まず、最適な生成モデルの集合を制限することにより、学習モデルに変異族の選択が一意的に作用する役割を解析する。 次に,変分族が復号モデルの局所的幾何に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-01-31T19:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。