論文の概要: Characterizing and Avoiding Problematic Global Optima of Variational
Autoencoders
- arxiv url: http://arxiv.org/abs/2003.07756v1
- Date: Tue, 17 Mar 2020 15:14:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 20:36:04.495352
- Title: Characterizing and Avoiding Problematic Global Optima of Variational
Autoencoders
- Title(参考訳): 変分オートエンコーダの異常グローバル最適化の特性と回避
- Authors: Yaniv Yacoby, Weiwei Pan, Finale Doshi-Velez
- Abstract要約: 変分自動エンコーダ(VAEs)は、深部生成潜在変数モデルである。
最近の研究は、伝統的な訓練手法がデシダラタに反する解決策をもたらす傾向があることを示している。
どちらの問題も、VAEトレーニング目標のグローバルな最適度が望ましくない解決策とよく一致するという事実に起因していることを示す。
- 参考スコア(独自算出の注目度): 28.36260646471421
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational Auto-encoders (VAEs) are deep generative latent variable models
consisting of two components: a generative model that captures a data
distribution p(x) by transforming a distribution p(z) over latent space, and an
inference model that infers likely latent codes for each data point (Kingma and
Welling, 2013). Recent work shows that traditional training methods tend to
yield solutions that violate modeling desiderata: (1) the learned generative
model captures the observed data distribution but does so while ignoring the
latent codes, resulting in codes that do not represent the data (e.g. van den
Oord et al. (2017); Kim et al. (2018)); (2) the aggregate of the learned latent
codes does not match the prior p(z). This mismatch means that the learned
generative model will be unable to generate realistic data with samples from
p(z)(e.g. Makhzani et al. (2015); Tomczak and Welling (2017)). In this paper,
we demonstrate that both issues stem from the fact that the global optima of
the VAE training objective often correspond to undesirable solutions. Our
analysis builds on two observations: (1) the generative model is unidentifiable
- there exist many generative models that explain the data equally well, each
with different (and potentially unwanted) properties and (2) bias in the VAE
objective - the VAE objective may prefer generative models that explain the
data poorly but have posteriors that are easy to approximate. We present a
novel inference method, LiBI, mitigating the problems identified in our
analysis. On synthetic datasets, we show that LiBI can learn generative models
that capture the data distribution and inference models that better satisfy
modeling assumptions when traditional methods struggle to do so.
- Abstract(参考訳): 変分自己エンコーダ (VAEs) は2つの成分からなる深部生成潜在変数モデルである: 分布 p(z) を潜時空間に変換してデータ分布 p(x) を捕捉する生成モデルと、各データ点について潜在的潜時符号を推測する推論モデル(Kingma and Welling, 2013)。
1) 学習された生成モデルは観測されたデータ分布をキャプチャするが、潜在コードを無視してそれを処理し、結果としてデータを表現しないコード(例えば、van den oord et al. (2017), kim et al. (2018)); (2) 学習された潜在コードの集合は、以前のp(z)と一致しない。
このミスマッチは、学習された生成モデルがp(z)からのサンプル(例えばmakhzani et al. (2015), tomczak and welling (2017))で現実的なデータを生成することができないことを意味する。
本稿では,vae訓練目標のグローバルオプティマがしばしば望ましくない解に対応しているという事実から,両者の問題点が浮き彫りになることを示す。
我々の分析は、(1) 生成モデルが識別不能である、(2) 生成モデルが存在する、それぞれが異なる(そして潜在的に望ましくない)性質を持つ、そして(2) VAE の目的のバイアスは、データを説明するのが不適切なが、容易に近似できる後部を持つ、生成モデルを好む、という2つの結果に基づいている。
そこで本研究では,新しい推論法であるlibiを提案する。
合成データセットでは,従来の手法では困難であった場合のモデリング仮定をよりよく満足するデータ分布と推論モデルを取得する生成モデルが学習可能であることを示す。
関連論文リスト
- Towards Model-Agnostic Posterior Approximation for Fast and Accurate Variational Autoencoders [22.77397537980102]
我々は,真のモデルの後部の決定論的,モデルに依存しない後部近似(MAPA)を計算可能であることを示す。
我々は,(1)MAPAが真の後部傾向を捉えた低次元合成データに対する予備的な結果を示し,(2)MAPAに基づく推論は,ベースラインよりも少ない計算でより優れた密度推定を行う。
論文 参考訳(メタデータ) (2024-03-13T20:16:21Z) - Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。
また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文 参考訳(メタデータ) (2024-01-11T17:56:59Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳(メタデータ) (2023-11-02T01:51:43Z) - Upgrading VAE Training With Unlimited Data Plans Provided by Diffusion
Models [12.542073306638988]
VAEにおけるオーバーフィッティングエンコーダは,事前学習した拡散モデルからのサンプルのトレーニングによって効果的に緩和できることを示す。
提案手法を用いて学習したVAEの一般化性能,償却ギャップ,ロバスト性を3つの異なるデータセットで解析した。
論文 参考訳(メタデータ) (2023-10-30T15:38:39Z) - Gaussian Process Probes (GPP) for Uncertainty-Aware Probing [61.91898698128994]
モデルによって表現される概念に関する不確実性を探索し、測定するための統一的でシンプルなフレームワークを導入する。
実験の結果,(1)ごく少数の例でも,モデルの概念表現を探索し,(2)認識の不確実性(プローブがどの程度確実か)と解離不確実性(モデルがファジィか)を正確に測定し,(3)これらの不確実性尺度と古典的手法を用いて分布データの検出を行うことができた。
論文 参考訳(メタデータ) (2023-05-29T17:00:16Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳(メタデータ) (2022-10-05T09:17:27Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳(メタデータ) (2022-07-14T17:08:25Z) - VAEM: a Deep Generative Model for Heterogeneous Mixed Type Data [16.00692074660383]
VAEMは2段階的に訓練された深層生成モデルである。
VAEMは、深層生成モデルをうまく展開できる現実世界のアプリケーションの範囲を広げることを示す。
論文 参考訳(メタデータ) (2020-06-21T23:47:32Z) - Query Training: Learning a Worse Model to Infer Better Marginals in
Undirected Graphical Models with Hidden Variables [11.985433487639403]
確率的グラフィカルモデル(PGM)は、柔軟な方法でクエリできる知識のコンパクトな表現を提供する。
我々は,PGMを学習するメカニズムであるクエリトレーニング(QT)を導入し,それと組み合わせる近似推論アルゴリズムに最適化する。
実験により,QTを用いて隠れ変数を持つ8連結グリッドマルコフランダム場を学習できることが実証された。
論文 参考訳(メタデータ) (2020-06-11T20:34:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。