論文の概要: On the failure of variational score matching for VAE models

• arxiv url: http://arxiv.org/abs/2210.13390v1
• Date: Mon, 24 Oct 2022 16:43:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 14:38:29.895588
• Title: On the failure of variational score matching for VAE models
• Title（参考訳）: VAEモデルにおける変分スコアマッチングの失敗について
• Authors: Li Kevin Wenliang
• Abstract要約: 本稿では,多様なデータセットやネットワークアーキテクチャ上での破滅的な障害を示す,既存の変分SM目標に対する批判的研究について述べる。 可変オートエンコーダ (VAE) モデルを最適化する際に, 等価な自動エンコード損失から目的に関する理論的知見が直接現れる。
• 参考スコア（独自算出の注目度）: 3.8073142980733
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Score matching (SM) is a convenient method for training flexible probabilistic models, which is often preferred over the traditional maximum-likelihood (ML) approach. However, these models are less interpretable than normalized models; as such, training robustness is in general difficult to assess. We present a critical study of existing variational SM objectives, showing catastrophic failure on a wide range of datasets and network architectures. Our theoretical insights on the objectives emerge directly from their equivalent autoencoding losses when optimizing variational autoencoder (VAE) models. First, we show that in the Fisher autoencoder, SM produces far worse models than maximum-likelihood, and approximate inference by Fisher divergence can lead to low-density local optima. However, with important modifications, this objective reduces to a regularized autoencoding loss that resembles the evidence lower bound (ELBO). This analysis predicts that the modified SM algorithm should behave very similarly to ELBO on Gaussian VAEs. We then review two other FD-based objectives from the literature and show that they reduce to uninterpretable autoencoding losses, likely leading to poor performance. The experiments verify our theoretical predictions and suggest that only ELBO and the baseline objective robustly produce expected results, while previously proposed SM methods do not.
• Abstract（参考訳）: スコアマッチング(SM)は、フレキシブル確率モデルのトレーニングに便利な手法であり、しばしばML(Maximum-likelihood)アプローチよりも好まれる。 しかし、これらのモデルは正規化モデルよりも解釈できないため、トレーニングの堅牢性を評価することは一般的に困難である。 本稿では,既存の変分sm目標に関する批判的研究を行い,広範囲のデータセットとネットワークアーキテクチャにおいて壊滅的な障害を示す。 可変オートエンコーダ (VAE) モデルを最適化する際に, 等価な自動エンコード損失から目的に関する理論的知見が直接現れる。 まず、フィッシャーオートエンコーダにおいて、SMは最大形よりもはるかに悪いモデルを生成することを示し、フィッシャーの発散による近似推論は、低密度局所最適化をもたらすことを示した。 しかし、重要な修正を加えると、この目的はエビデンスローバウンド(ELBO)に似た正規化された自己エンコード損失に還元される。 この分析は、修正SMアルゴリズムはガウスVAE上のELBOと非常によく似た振る舞いをするべきであると予測する。 次に、文献からFDに基づく他の2つの目的をレビューし、解釈不能な自動エンコード損失を減らし、おそらく性能の低下につながることを示す。 実験により, ELBOとベースライン目標のみが予測結果を確実に生成するのに対して, 従来提案されていたSM法は期待できないことが示唆された。

関連論文リスト

• Offline Model-Based Optimization by Learning to Rank [26.21886715050762]
  我々は、平均二乗誤差(MSE)で訓練された回帰モデルは、オフラインモデルに基づく最適化の第一目標とうまく一致していないと論じる。 そこで本稿では,学習手法のランク付けに活用し,相対的なスコアに基づいて有望な設計を優先順位付けするランキングベースモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-15T11:15:03Z)
• A Dynamic Approach to Stock Price Prediction: Comparing RNN and Mixture of Experts Models Across Different Volatility Profiles [0.0]
  MoEフレームワークは揮発性株のRNNと安定株の線形モデルを組み合わせて、ゲーティングネットワークを介して各モデルの重量を動的に調整する。 その結果,MoE法は様々な変動性プロファイルの予測精度を著しく向上させることがわかった。 MoEモデルの適応性は個々のモデルよりも優れており、Mean Squared Error(MSE)やMean Absolute Error(MAE)などのエラーを減らすことができる。
  論文  参考訳（メタデータ） (2024-10-04T14:36:21Z)
• On the Impact of Sampling on Deep Sequential State Estimation [17.92198582435315]
  逐次モデルにおける状態推定とパラメータ学習は近似手法を用いてうまく行うことができる。 モンテカルロの厳密な目的は、生成的モデリング性能を向上させるために文献で提案されている。
  論文  参考訳（メタデータ） (2023-11-28T17:59:49Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• Value Gradient weighted Model-Based Reinforcement Learning [28.366157882991565]
  モデルベース強化学習(MBRL)は、制御ポリシーを得るための効率的な手法である。 VaGraMは価値認識モデル学習の新しい手法である。
  論文  参考訳（メタデータ） (2022-04-04T13:28:31Z)
• VAE Approximation Error: ELBO and Conditional Independence [78.72292013299868]
  本稿では,ELBO目標とエンコーダ確率系列の選択の組み合わせによるVAE近似誤差を解析する。 より深いエンコーダネットワークを考慮すれば,ELBOサブセットを拡大することができず,各エラーを低減できないことを示す。
  論文  参考訳（メタデータ） (2021-02-18T12:54:42Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。