論文の概要: Posterior Consistency for Missing Data in Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2310.16648v1
• Date: Wed, 25 Oct 2023 13:56:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 14:34:23.039352
• Title: Posterior Consistency for Missing Data in Variational Autoencoders
• Title（参考訳）: 変分オートエンコーダにおけるデータの後方整合性
• Authors: Timur Sudak, Sebastian Tschiatschek
• Abstract要約: 本稿では,データから変分オートエンコーダ(VAE)を学習する際の問題点について考察する。 本稿では,この整合性を促進するエンコーダの後部分布の正規化手法を提案する。 この改良された性能は、正規化フローを備えたVAEを含む多くのVAEのクラスで観測できる。
• 参考スコア（独自算出の注目度）: 11.18081298867526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of learning Variational Autoencoders (VAEs), i.e., a type of deep generative model, from data with missing values. Such data is omnipresent in real-world applications of machine learning because complete data is often impossible or too costly to obtain. We particularly focus on improving a VAE's amortized posterior inference, i.e., the encoder, which in the case of missing data can be susceptible to learning inconsistent posterior distributions regarding the missingness. To this end, we provide a formal definition of posterior consistency and propose an approach for regularizing an encoder's posterior distribution which promotes this consistency. We observe that the proposed regularization suggests a different training objective than that typically considered in the literature when facing missing values. Furthermore, we empirically demonstrate that our regularization leads to improved performance in missing value settings in terms of reconstruction quality and downstream tasks utilizing uncertainty in the latent space. This improved performance can be observed for many classes of VAEs including VAEs equipped with normalizing flows.
• Abstract（参考訳）: 我々は,可変オートエンコーダ(vaes)の学習,すなわち,値の欠如したデータから深い生成モデルの一種を学ぶ問題を考える。 このようなデータは、完全なデータが入手できない、あるいはコストがかかる場合が多いため、機械学習の現実世界のアプリケーションで広く使われている。 特にvaeの償却後後方推定(すなわち、欠落データの場合、欠落に関する不整合後後方分布の学習に影響を受けやすいエンコーダ)の改善に焦点をあてる。 この目的のために、後続一貫性の形式的定義を提供し、この整合性を促進するエンコーダの後続分布を正規化するためのアプローチを提案する。 提案する正規化は,欠落する値に直面する文献で一般的に検討されているものとは異なる学習目標を示唆する。 さらに,我々の正規化が,潜在空間における不確実性を利用した復元品質と下流タスクの観点から,価値設定の欠如によるパフォーマンス向上につながることを実証的に証明した。 この改良された性能は、正規化フローを備えたVAEを含む多くのVAEのクラスで観測できる。

関連論文リスト

• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Leveraging variational autoencoders for multiple data imputation [0.5156484100374059]
  本稿では,複数の計算手法を用いて,データ欠落を考慮に入れた深部モデル,すなわち変分オートエンコーダ(VAE)について検討する。 VAEは、過小評価と過信な計算によって、欠落したデータの経験的カバレッジを低くすることがわかった。 これを克服するために、一般化されたベイズフレームワークから見た$beta$-VAEsを用いて、モデルの誤特定に対して堅牢性を提供する。
  論文  参考訳（メタデータ） (2022-09-30T08:58:43Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Consistency Regularization for Variational Auto-Encoders [14.423556966548544]
  変分自動エンコーダ(VAE)は教師なし学習の強力なアプローチである。 本稿では,VAEの整合性を強制する正規化手法を提案する。
  論文  参考訳（メタデータ） (2021-05-31T10:26:32Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Generalizing Variational Autoencoders with Hierarchical Empirical Bayes [6.273154057349038]
  確率的生成モデルのための計算的に安定なフレームワークである階層的経験的ベイズオートエンコーダ(HEBAE)を提案する。 鍵となる貢献は2つであり、まず、符号化分布を階層的に優先することで、再構成損失関数の最小化と過正規化の回避とのトレードオフを適応的にバランスさせることで、利益を得る。
  論文  参考訳（メタデータ） (2020-07-20T18:18:39Z)
• Tomographic Auto-Encoder: Unsupervised Bayesian Recovery of Corrupted Data [4.725669222165439]
  破損したデータの教師なし回復のための新しい確率的手法を提案する。 劣化したサンプルの大規模なアンサンブルを考慮し,クリーンな値の正確な後部を復元する。 我々は、欠落した値とノイズの共通の設定の下で、データリカバリタスクでモデルをテストします。
  論文  参考訳（メタデータ） (2020-06-30T16:18:16Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。