論文の概要: A Generalised Linear Model Framework for $\beta$-Variational Autoencoders based on Exponential Dispersion Families

• arxiv url: http://arxiv.org/abs/2006.06267v3
• Date: Mon, 11 Oct 2021 17:02:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-11-22 09:54:57.698617
• Title: A Generalised Linear Model Framework for $\beta$-Variational Autoencoders based on Exponential Dispersion Families
• Title（参考訳）: 指数分散ファミリに基づく$\beta$-変数自動エンコーダのための一般化線形モデルフレームワーク
• Authors: Robert Sicks, Ralf Korn, Stefanie Schwaar
• Abstract要約: 我々は$beta$-VAEと一般化線形モデル(GLM)の接続に基づく理論的枠組みを導入する。 我々は、観測モデル分布が指数分散族(EDF)に属するという仮定に基づいて、$beta$-VAEの損失解析を体系的に一般化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although variational autoencoders (VAE) are successfully used to obtain meaningful low-dimensional representations for high-dimensional data, the characterization of critical points of the loss function for general observation models is not fully understood. We introduce a theoretical framework that is based on a connection between $\beta$-VAE and generalized linear models (GLM). The equality between the activation function of a $\beta$-VAE and the inverse of the link function of a GLM enables us to provide a systematic generalization of the loss analysis for $\beta$-VAE based on the assumption that the observation model distribution belongs to an exponential dispersion family (EDF). As a result, we can initialize $\beta$-VAE nets by maximum likelihood estimates (MLE) that enhance the training performance on both synthetic and real world data sets. As a further consequence, we analytically describe the auto-pruning property inherent in the $\beta$-VAE objective and reason for posterior collapse.
• Abstract（参考訳）: 変分オートエンコーダ (vae) は高次元データの有意義な低次元表現を得るのに有効であるが、一般観測モデルの損失関数の臨界点のキャラクタリゼーションは十分に理解されていない。 本稿では,$\beta$-VAEと一般化線形モデル(GLM)の接続に基づく理論的枠組みを提案する。 GLMのリンク関数の逆関数と$\beta$-VAEの活性化関数の等式は、観測モデル分布が指数分散族(EDF)に属するという仮定に基づいて、$\beta$-VAEの損失解析を体系的に一般化することを可能にする。 その結果,最大推定値(MLE)によって$\beta$-VAEネットを初期化することができ,合成および実世界のデータセットのトレーニング性能を向上させることができる。 さらなる結果として、$\beta$-VAEの目的に固有のオートプルーニング特性と後部崩壊の原因を解析的に記述する。

関連論文リスト

• A Simplified Analysis of SGD for Linear Regression with Weight Averaging [64.2393952273612]
  最近の研究は、定常学習率を用いた線形回帰におけるSGD最適化のためのシャープレートを提供する。 簡単な線形代数ツールを用いて,2021ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグネグニグニグニグニグネグニグニグネグニ 我々の研究は線形回帰の勾配勾配を非常に容易に解析し、ミニバッチと学習率のスケジューリングのさらなる分析に役立てることができると信じている。
  論文  参考訳（メタデータ） (2025-06-18T15:10:38Z)
• On Weak-to-Strong Generalization and f-Divergence [23.062111583403095]
  W2SG(Weak-to-strong generalization)は、強力な事前学習モデルの能力を刺激するための有望なパラダイムとして登場した。 W2SGにおける情報理論損失関数フレームワークとして$f$-divergenceを導入する。 我々は、KL分散のような広く使われているメトリクスを一般化する$f$-divergence損失が、実際に強いモデルの一般化と耐雑音性を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2025-06-03T17:40:08Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• $α$-TCVAE: On the relationship between Disentanglement and Diversity [21.811889512977924]
  本稿では,新しい全相関(TC)下界を用いて最適化された変分オートエンコーダである$alpha$-TCVAEを紹介する。 本稿では,不整合表現がより優れた生成能力と多様性をもたらすという考えを支持する定量的分析について述べる。 以上の結果から,$alpha$-TCVAEはベースラインよりも不整合表現を一貫して学習し,より多様な観測結果を生成することが示された。
  論文  参考訳（メタデータ） (2024-11-01T13:50:06Z)
• Theoretical Convergence Guarantees for Variational Autoencoders [2.8167997311962942]
  変分オートエンコーダ(VAE)は、複雑なデータ分布からサンプリングするために使われる一般的な生成モデルである。 本稿では, グラディエントDescentアルゴリズムとAdamアルゴリズムの両方を用いてトレーニングしたVAEに対して, 非漸近収束保証を提供することにより, このギャップを埋めることを目的とする。 我々の理論的分析は、Linear VAEとDeep Gaussian VAEの両方、および$beta$-VAEやIWAEを含むいくつかのVAEの変種に適用できる。
  論文  参考訳（メタデータ） (2024-10-22T07:12:38Z)
• BECAUSE: Bilinear Causal Representation for Generalizable Offline Model-based Reinforcement Learning [39.090104460303415]
  オフラインモデルベース強化学習(MBRL)は、事前コンパイルされたデータセットを使用してモデルとポリシーを学ぶことにより、データ効率を向上させる。 本稿は、このミスマッチの主な原因を、オフラインデータに存在する根底にある共同設立者から特定する。 両状態の因果表現をキャプチャするアルゴリズムである textbfBilintextbfEar textbfCAUSal rtextbfEpresentation (BECAUSE) を導入する。
  論文  参考訳（メタデータ） (2024-07-15T17:59:23Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Matching aggregate posteriors in the variational autoencoder [0.5759862457142761]
  変分オートエンコーダ(VAE)は、よく研究され、深い、潜伏変数モデル(DLVM)である。 本稿では,VAE に付随する目的関数を改良することにより,VAE の欠点を克服する。 提案手法はEmphaggregate variational autoencoder (AVAE) と命名され,VAEの理論的枠組みに基づいて構築されている。
  論文  参考訳（メタデータ） (2023-11-13T19:22:37Z)
• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)
• A Robustness Analysis of Blind Source Separation [91.3755431537592]
  ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。 このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。 定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-17T16:30:51Z)
• The Generalization Error of Stochastic Mirror Descent on Over-Parametrized Linear Models [37.6314945221565]
  ディープネットワークは、目に見えないデータにうまく一般化することが知られている。 正規化特性は「良い」性質を持つ補間解が見つかることを保証している。 理論を検証し、2つのデータモデルを導入するシミュレーション結果を提案する。
  論文  参考訳（メタデータ） (2023-02-18T22:23:42Z)
• uGLAD: Sparse graph recovery by optimizing deep unrolled networks [11.48281545083889]
  深層ネットワークを最適化してスパースグラフ復元を行う新しい手法を提案する。 我々のモデルであるuGLADは、最先端モデルGLADを教師なし設定に構築し、拡張します。 我々は, 遺伝子調節ネットワークから生成した合成ガウスデータ, 非ガウスデータを用いて, モデル解析を行い, 嫌気性消化の事例研究を行った。
  論文  参考訳（メタデータ） (2022-05-23T20:20:27Z)
• Exponential Family Model-Based Reinforcement Learning via Score Matching [97.31477125728844]
  有限水平表層強化学習(RL)のための楽観的モデルベースアルゴリズムSMRLを提案する。 SMRLは、リッジ回帰によるモデルパラメータの効率的な推定を可能にする非正規化密度推定手法であるスコアマッチングを用いる。
  論文  参考訳（メタデータ） (2021-12-28T15:51:07Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• On Implicit Regularization in $\beta$-VAEs [32.674190005384204]
  2つの観点から,変分分布の正規化が生成モデルの学習に及ぼす影響について検討した。 まず、最適な生成モデルの集合を制限することにより、学習モデルに変異族の選択が一意的に作用する役割を解析する。 次に,変分族が復号モデルの局所的幾何に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-01-31T19:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。