論文の概要: On Implicit Regularization in $\beta$-VAEs

• arxiv url: http://arxiv.org/abs/2002.00041v4
• Date: Mon, 28 Dec 2020 22:36:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 05:54:53.566028
• Title: On Implicit Regularization in $\beta$-VAEs
• Title（参考訳）: $\beta$-VAEsにおける帰納正規化について
• Authors: Abhishek Kumar, Ben Poole
• Abstract要約: 2つの観点から,変分分布の正規化が生成モデルの学習に及ぼす影響について検討した。 まず、最適な生成モデルの集合を制限することにより、学習モデルに変異族の選択が一意的に作用する役割を解析する。 次に,変分族が復号モデルの局所的幾何に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 32.674190005384204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While the impact of variational inference (VI) on posterior inference in a fixed generative model is well-characterized, its role in regularizing a learned generative model when used in variational autoencoders (VAEs) is poorly understood. We study the regularizing effects of variational distributions on learning in generative models from two perspectives. First, we analyze the role that the choice of variational family plays in imparting uniqueness to the learned model by restricting the set of optimal generative models. Second, we study the regularization effect of the variational family on the local geometry of the decoding model. This analysis uncovers the regularizer implicit in the $\beta$-VAE objective, and leads to an approximation consisting of a deterministic autoencoding objective plus analytic regularizers that depend on the Hessian or Jacobian of the decoding model, unifying VAEs with recent heuristics proposed for training regularized autoencoders. We empirically verify these findings, observing that the proposed deterministic objective exhibits similar behavior to the $\beta$-VAE in terms of objective value and sample quality.
• Abstract（参考訳）: 固定生成モデルにおける後部推論に対する変分推論 (VI) の影響は良好であるが, 変分オートエンコーダ (VAE) で使用する場合の学習生成モデルの正則化における役割はよく理解されていない。 生成モデルの学習における変動分布の正則化効果を2つの観点から検討した。 まず, 最適生成モデルの集合を制限して学習モデルに一意性を与えるために, 変分族の選択が果たす役割を解析する。 次に,変形族が復号モデルの局所幾何に及ぼす影響について検討する。 この分析は$\beta$-vaeの目的において暗黙の正規化子を明らかにし、決定論的自己符号化目的とデコードモデルのヘッシアンまたはヤコビアンに依存する解析的正規化子からなる近似に繋がる。 提案する決定論的目的が目的値とサンプル品質の点で$\beta$-VAEと類似した振る舞いを示すことを実証的に検証した。

関連論文リスト

• Forward $\chi^2$ Divergence Based Variational Importance Sampling [2.841087763205822]
  本稿では,ログ類似度を直接推定し,最大化する新しい変動重要度サンプリング(VIS)手法を提案する。 我々は、混合モデル、変分自動エンコーダ、部分的に観測可能な一般化線形モデルなど、様々な一般的な潜在変数モデルにVISを適用する。
  論文  参考訳（メタデータ） (2023-11-04T21:46:28Z)
• Mitigate Domain Shift by Primary-Auxiliary Objectives Association for Generalizing Person ReID [39.98444065846305]
  ReIDモデルは、インスタンス分類の目的に関するトレーニングを通じてのみドメイン不変表現を学ぶのに苦労します。 本稿では,弱いラベル付き歩行者唾液度検出のための補助学習目標を用いて,プライマリReIDインスタンス分類目標のモデル学習を指導する手法を提案する。 我々のモデルは、最近のテストタイムダイアグラムで拡張してPAOA+を形成し、補助的な目的に対してオンザフライ最適化を行うことができる。
  論文  参考訳（メタデータ） (2023-10-24T15:15:57Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• Local Disentanglement in Variational Auto-Encoders Using Jacobian $L_1$ Regularization [21.80539548847009]
  変分自動エンコーダ(VAEs)とその拡張は、潜伏変数をPCA方向と整列させることが示されている。 本稿では, 局所潜伏変数アライメントを促進するために, VAE生成ヤコビアンに$L_$1の損失を適用することを提案する。
  論文  参考訳（メタデータ） (2021-06-05T15:40:55Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。