論文の概要: Leveraging variational autoencoders for multiple data imputation
- arxiv url: http://arxiv.org/abs/2209.15321v1
- Date: Fri, 30 Sep 2022 08:58:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 14:51:02.618553
- Title: Leveraging variational autoencoders for multiple data imputation
- Title（参考訳）: 複数のデータインプテーションのための変分オートエンコーダの活用
- Authors: Breeshey Roskams-Hieter, Jude Wells and Sara Wade
- Abstract要約: 本稿では,複数の計算手法を用いて,データ欠落を考慮に入れた深部モデル,すなわち変分オートエンコーダ(VAE)について検討する。
VAEは、過小評価と過信な計算によって、欠落したデータの経験的カバレッジを低くすることがわかった。
これを克服するために、一般化されたベイズフレームワークから見た$beta$-VAEsを用いて、モデルの誤特定に対して堅牢性を提供する。
- 参考スコア（独自算出の注目度）: 0.5156484100374059
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Missing data persists as a major barrier to data analysis across numerous
applications. Recently, deep generative models have been used for imputation of
missing data, motivated by their ability to capture highly non-linear and
complex relationships in the data. In this work, we investigate the ability of
deep models, namely variational autoencoders (VAEs), to account for uncertainty
in missing data through multiple imputation strategies. We find that VAEs
provide poor empirical coverage of missing data, with underestimation and
overconfident imputations, particularly for more extreme missing data values.
To overcome this, we employ $\beta$-VAEs, which viewed from a generalized Bayes
framework, provide robustness to model misspecification. Assigning a good value
of $\beta$ is critical for uncertainty calibration and we demonstrate how this
can be achieved using cross-validation. In downstream tasks, we show how
multiple imputation with $\beta$-VAEs can avoid false discoveries that arise as
artefacts of imputation.
- Abstract（参考訳）: データの欠落は、多くのアプリケーションにわたるデータ分析の大きな障壁として持続する。
近年,非線形で複雑なデータ関係を捉える能力によって,データ不足の計算に深層生成モデルが用いられている。
本研究では,複数のインプテーション戦略を通じて欠落データの不確かさを考慮に入れた深層モデル,すなわち変分オートエンコーダ(vaes)の能力について検討する。
VAEは、特に極端に欠落したデータ値に対して、過小評価と過信な計算を伴う、欠落したデータの経験的カバレッジを低くする。
これを克服するために、一般的なベイズフレームワークから見た$\beta$-vaesを採用し、モデル誤特定に対する堅牢性を提供します。
適切な値を$\beta$に割り当てることは不確実性校正に不可欠であり、クロスバリデーションを用いてどのように達成できるかを実証する。
ダウンストリームタスクでは、$\beta$-vaesの複数のインプテーションがインプテーションのアーティファクトとして発生する誤った発見をいかに回避できるかを示す。
関連論文リスト
- Posterior Consistency for Missing Data in Variational Autoencoders [11.18081298867526]
本稿では,データから変分オートエンコーダ(VAE)を学習する際の問題点について考察する。
本稿では,この整合性を促進するエンコーダの後部分布の正規化手法を提案する。
この改良された性能は、正規化フローを備えたVAEを含む多くのVAEのクラスで観測できる。
論文 参考訳（メタデータ） (2023-10-25T13:56:02Z) - Machine Learning Force Fields with Data Cost Aware Training [94.78998399180519]
分子動力学(MD)シミュレーションを加速するために機械学習力場(MLFF)が提案されている。
最もデータ効率のよいMLFFであっても、化学精度に達するには数百フレームの力とエネルギーのラベルが必要になる。
我々は、安価な不正確なデータと高価な正確なデータの組み合わせを利用して、MLFFのデータコストを下げる多段階計算フレームワークASTEROIDを提案する。
論文 参考訳（メタデータ） (2023-06-05T04:34:54Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - BayesCap: Bayesian Identity Cap for Calibrated Uncertainty in Frozen
Neural Networks [50.15201777970128]
本研究では,凍結モデルに対するベイズIDマッピングを学習し,不確実性の推定を可能にするBayesCapを提案する。
BayesCapは、元のデータセットのごく一部でトレーニングできる、メモリ効率のよいメソッドである。
本稿では,多種多様なアーキテクチャを用いた多種多様なタスクに対する本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-07-14T12:50:09Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Efficient remedies for outlier detection with variational autoencoders [8.80692072928023]
深層生成モデルによって計算される類似度は、ラベルなしデータによる外れ値検出の候補メトリックである。
理論的に定位された補正は、VAE推定値による鍵バイアスを容易に改善することを示す。
また,VAEのアンサンブル上で計算される確率の分散により,ロバストな外乱検出が可能となることを示す。
論文 参考訳（メタデータ） (2021-08-19T16:00:58Z) - Provably Efficient Causal Reinforcement Learning with Confounded
Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。
提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-22T14:49:33Z) - Robust Variational Autoencoder for Tabular Data with Beta Divergence [0.0]
本稿では,連続的特徴と分類的特徴を混合した頑健な変動型オートエンコーダを提案する。
ネットワークトラフィックデータセットの異常検出アプリケーションについて,本手法の有効性を実証した。
論文 参考訳（メタデータ） (2020-06-15T08:09:34Z) - VAEs in the Presence of Missing Data [6.397263087026567]
我々は、欠落したデータを生成する汚職過程の新しい潜伏変数モデルを開発し、対応する抽出可能なエビデンスローバウンド(ELBO)を導出する。
我々のモデルは実装が簡単で、無作為データ(MCAR)と無作為データ(MNAR)の両方を処理でき、高次元入力にスケールし、データ要素が欠落しているか否かの指標変数にVAEエンコーダとデコーダの両方にアクセスできる。
MNISTとSVHNデータセットでは、既存のアプローチと比較して、観測データの辺りのログライクな改善と、データ計算の欠如の改善が示されている。
論文 参考訳（メタデータ） (2020-06-09T14:40:00Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - Multiple Imputation with Denoising Autoencoder using Metamorphic Truth
and Imputation Feedback [0.0]
データの内部表現を学習するために,Denoising Autoencoder を用いた多重命令モデルを提案する。
我々は、属性の統計的整合性を維持するために、変成真理と帰納フィードバックの新たなメカニズムを用いる。
提案手法は,多くの標準的なテストケースにおいて,様々な欠落メカニズムや欠落したデータのパターンに対するインパルスの効果を検証し,他の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-02-19T18:26:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。