論文の概要: Characterizing and Avoiding Problematic Global Optima of Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2003.07756v1
• Date: Tue, 17 Mar 2020 15:14:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 20:36:04.495352
• Title: Characterizing and Avoiding Problematic Global Optima of Variational Autoencoders
• Title（参考訳）: 変分オートエンコーダの異常グローバル最適化の特性と回避
• Authors: Yaniv Yacoby, Weiwei Pan, Finale Doshi-Velez
• Abstract要約: 変分自動エンコーダ(VAEs)は、深部生成潜在変数モデルである。 最近の研究は、伝統的な訓練手法がデシダラタに反する解決策をもたらす傾向があることを示している。 どちらの問題も、VAEトレーニング目標のグローバルな最適度が望ましくない解決策とよく一致するという事実に起因していることを示す。
• 参考スコア（独自算出の注目度）: 28.36260646471421
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational Auto-encoders (VAEs) are deep generative latent variable models consisting of two components: a generative model that captures a data distribution p(x) by transforming a distribution p(z) over latent space, and an inference model that infers likely latent codes for each data point (Kingma and Welling, 2013). Recent work shows that traditional training methods tend to yield solutions that violate modeling desiderata: (1) the learned generative model captures the observed data distribution but does so while ignoring the latent codes, resulting in codes that do not represent the data (e.g. van den Oord et al. (2017); Kim et al. (2018)); (2) the aggregate of the learned latent codes does not match the prior p(z). This mismatch means that the learned generative model will be unable to generate realistic data with samples from p(z)(e.g. Makhzani et al. (2015); Tomczak and Welling (2017)). In this paper, we demonstrate that both issues stem from the fact that the global optima of the VAE training objective often correspond to undesirable solutions. Our analysis builds on two observations: (1) the generative model is unidentifiable - there exist many generative models that explain the data equally well, each with different (and potentially unwanted) properties and (2) bias in the VAE objective - the VAE objective may prefer generative models that explain the data poorly but have posteriors that are easy to approximate. We present a novel inference method, LiBI, mitigating the problems identified in our analysis. On synthetic datasets, we show that LiBI can learn generative models that capture the data distribution and inference models that better satisfy modeling assumptions when traditional methods struggle to do so.
• Abstract（参考訳）: 変分自己エンコーダ (VAEs) は2つの成分からなる深部生成潜在変数モデルである: 分布 p(z) を潜時空間に変換してデータ分布 p(x) を捕捉する生成モデルと、各データ点について潜在的潜時符号を推測する推論モデル(Kingma and Welling, 2013)。 1) 学習された生成モデルは観測されたデータ分布をキャプチャするが、潜在コードを無視してそれを処理し、結果としてデータを表現しないコード(例えば、van den oord et al. (2017), kim et al. (2018)); (2) 学習された潜在コードの集合は、以前のp(z)と一致しない。 このミスマッチは、学習された生成モデルがp(z)からのサンプル(例えばmakhzani et al. (2015), tomczak and welling (2017))で現実的なデータを生成することができないことを意味する。 本稿では,vae訓練目標のグローバルオプティマがしばしば望ましくない解に対応しているという事実から,両者の問題点が浮き彫りになることを示す。 我々の分析は、(1) 生成モデルが識別不能である、(2) 生成モデルが存在する、それぞれが異なる(そして潜在的に望ましくない)性質を持つ、そして(2) VAE の目的のバイアスは、データを説明するのが不適切なが、容易に近似できる後部を持つ、生成モデルを好む、という2つの結果に基づいている。 そこで本研究では,新しい推論法であるlibiを提案する。 合成データセットでは,従来の手法では困難であった場合のモデリング仮定をよりよく満足するデータ分布と推論モデルを取得する生成モデルが学習可能であることを示す。

関連論文リスト

• Sub-graph Based Diffusion Model for Link Prediction [43.15741675617231]
  拡散確率モデル(Denoising Diffusion Probabilistic Models, DDPM)は、例外的な品質を持つ同時代の生成モデルである。 本研究では,ベイズ式による確率推定過程を分解するために,専用設計を用いたリンク予測のための新しい生成モデルを構築した。 提案手法は,(1)再トレーニングを伴わないデータセット間の転送可能性,(2)限られたトレーニングデータに対する有望な一般化,(3)グラフ敵攻撃に対する堅牢性など,多くの利点を示す。
  論文  参考訳（メタデータ） (2024-09-13T02:23:55Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Towards Model-Agnostic Posterior Approximation for Fast and Accurate Variational Autoencoders [22.77397537980102]
  我々は,真のモデルの後部の決定論的,モデルに依存しない後部近似(MAPA)を計算可能であることを示す。 我々は,(1)MAPAが真の後部傾向を捉えた低次元合成データに対する予備的な結果を示し,(2)MAPAに基づく推論は,ベースラインよりも少ない計算でより優れた密度推定を行う。
  論文  参考訳（メタデータ） (2024-03-13T20:16:21Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Upgrading VAE Training With Unlimited Data Plans Provided by Diffusion Models [12.542073306638988]
  VAEにおけるオーバーフィッティングエンコーダは,事前学習した拡散モデルからのサンプルのトレーニングによって効果的に緩和できることを示す。 提案手法を用いて学習したVAEの一般化性能,償却ギャップ,ロバスト性を3つの異なるデータセットで解析した。
  論文  参考訳（メタデータ） (2023-10-30T15:38:39Z)
• Gaussian Process Probes (GPP) for Uncertainty-Aware Probing [61.91898698128994]
  モデルによって表現される概念に関する不確実性を探索し、測定するための統一的でシンプルなフレームワークを導入する。 実験の結果,(1)ごく少数の例でも,モデルの概念表現を探索し,(2)認識の不確実性(プローブがどの程度確実か)と解離不確実性(モデルがファジィか)を正確に測定し,(3)これらの不確実性尺度と古典的手法を用いて分布データの検出を行うことができた。
  論文  参考訳（メタデータ） (2023-05-29T17:00:16Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• VAEM: a Deep Generative Model for Heterogeneous Mixed Type Data [16.00692074660383]
  VAEMは2段階的に訓練された深層生成モデルである。 VAEMは、深層生成モデルをうまく展開できる現実世界のアプリケーションの範囲を広げることを示す。
  論文  参考訳（メタデータ） (2020-06-21T23:47:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。