論文の概要: Simple and Effective VAE Training with Calibrated Decoders

• arxiv url: http://arxiv.org/abs/2006.13202v3
• Date: Mon, 12 Jul 2021 04:06:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 21:41:58.880772
• Title: Simple and Effective VAE Training with Calibrated Decoders
• Title（参考訳）: 校正デコーダを用いた簡易かつ効果的なVAE訓練
• Authors: Oleh Rybkin, Kostas Daniilidis, Sergey Levine
• Abstract要約: 変分オートエンコーダ(VAE)は、複雑な分布をモデル化するための効果的で簡単な方法である。 復号分布の不確かさを学習する校正復号器の影響について検討する。 本稿では,一般的なガウス復号器の簡易かつ斬新な修正を提案し,その予測分散を解析的に計算する。
• 参考スコア（独自算出の注目度）: 123.08908889310258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational autoencoders (VAEs) provide an effective and simple method for modeling complex distributions. However, training VAEs often requires considerable hyperparameter tuning to determine the optimal amount of information retained by the latent variable. We study the impact of calibrated decoders, which learn the uncertainty of the decoding distribution and can determine this amount of information automatically, on the VAE performance. While many methods for learning calibrated decoders have been proposed, many of the recent papers that employ VAEs rely on heuristic hyperparameters and ad-hoc modifications instead. We perform the first comprehensive comparative analysis of calibrated decoder and provide recommendations for simple and effective VAE training. Our analysis covers a range of image and video datasets and several single-image and sequential VAE models. We further propose a simple but novel modification to the commonly used Gaussian decoder, which computes the prediction variance analytically. We observe empirically that using heuristic modifications is not necessary with our method. Project website is at https://orybkin.github.io/sigma-vae/
• Abstract（参考訳）: 変分オートエンコーダ(VAE)は、複雑な分布をモデル化するための効果的で簡単な方法である。 しかしながら、VAEのトレーニングは、潜伏変数が保持する情報の最適な量を決定するために、かなりのハイパーパラメータチューニングを必要とすることが多い。 本研究では,復号分布の不確かさを学習し,その量を自動的に決定できる校正復号器がVAE性能に与える影響について検討する。 校正デコーダを学習するための多くの方法が提案されているが、VAEを用いた最近の論文の多くは、代わりにヒューリスティックなハイパーパラメータとアドホックな修正に依存している。 キャリブレーションデコーダの包括的比較分析を行い,簡易かつ効果的なvae訓練のための推奨事項を提供する。 本分析では,画像と映像のデータセットと,複数の単一画像と逐次vaeモデルについて述べる。 さらに, 予測分散を解析的に計算するgaussian decoderの単純だが斬新な修正を提案する。 我々は,本手法ではヒューリスティックな修正は必要ないことを経験的に観察した。 プロジェクトwebサイトはhttps://orybkin.github.io/sigma-vae/

関連論文リスト

• Symmetric Equilibrium Learning of VAEs [56.56929742714685]
  可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。 本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
  論文  参考訳（メタデータ） (2023-07-19T10:27:34Z)
• Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes [23.682509357305406]
  オートエンコーダとその変種は表現学習と生成モデリングにおいて最も広く使われているモデルの一つである。 ベイジアンオートエンコーダの潜在空間に完全スパースガウスプロセス先行を課す新しいスパースガウスプロセスベイジアンオートエンコーダモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-09T09:57:51Z)
• String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
  可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。 本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。 実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
  論文  参考訳（メタデータ） (2022-08-23T03:56:30Z)
• Consistency Regularization for Variational Auto-Encoders [14.423556966548544]
  変分自動エンコーダ(VAE)は教師なし学習の強力なアプローチである。 本稿では,VAEの整合性を強制する正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-05-31T10:26:32Z)
• Improved Training of Sparse Coding Variational Autoencoder via Weight Normalization [0.0]
  我々は最近提案されたsparse coding variational autoencoder (svae) に着目した。 単位ノルムへのフィルタの投影がアクティブフィルタの数を劇的に増加させることを示す。 本結果は,データから疎表現を学習する上での重み正規化の重要性を強調した。
  論文  参考訳（メタデータ） (2021-01-23T08:07:20Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• A New Modal Autoencoder for Functionally Independent Feature Extraction [6.690183908967779]
  新しいモーダルオートエンコーダ (MAE) は、読み出し重み行列の列をオトゴゴナライズすることによって提案される。 結果は、MNIST変異とUSPS分類ベンチマークスイートで検証された。 新しいMAEは、オートエンコーダのための非常にシンプルなトレーニング原則を導入し、ディープニューラルネットワークの事前トレーニングを約束できる。
  論文  参考訳（メタデータ） (2020-06-25T13:25:10Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Dynamic Scale Training for Object Detection [111.33112051962514]
  本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。 提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。 推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
  論文  参考訳（メタデータ） (2020-04-26T16:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。