論文の概要: Identifiable Deep Latent Variable Models for MNAR Data
- arxiv url: http://arxiv.org/abs/2603.24771v2
- Date: Fri, 27 Mar 2026 02:53:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-30 21:49:48.15762
- Title: Identifiable Deep Latent Variable Models for MNAR Data
- Title(参考訳): MNARデータに対する深潜時変動モデルの同定
- Authors: Huiming Xie, Fei Xue, Xiao Wang,
- Abstract要約: データの欠落は、データ分析におけるユビキタスな課題であり、しばしばバイアスと不正確な結果につながる。
従来の計算手法では、欠落メカニズムが欠落した値自体から独立しているMAR(英語版)であると仮定することが多い。
本稿では,MNARデータに対する遅延変動モデルに基づく新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 13.739530975229863
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Missing data is a ubiquitous challenge in data analysis, often leading to biased and inaccurate results. Traditional imputation methods usually assume that the missingness mechanism is missing-at-random (MAR), where the missingness is independent of the missing values themselves. This assumption is frequently violated in real-world scenarios, prompted by recent advances in imputation methods using deep learning to address this challenge. However, these methods neglect the crucial issue of nonparametric identifiability in missing-not-at-random (MNAR) data, which can lead to biased and unreliable results. This paper seeks to bridge this gap by proposing a novel framework based on deep latent variable models for MNAR data. Building on the assumption of conditional no self-censoring given latent variables, we establish the identifiability of the data distribution. This crucial theoretical result guarantees the feasibility of our approach. To effectively estimate unknown parameters, we develop an efficient algorithm utilizing importance-weighted autoencoders. We demonstrate, both theoretically and empirically, that our estimation process accurately recovers the ground-truth joint distribution under specific regularity conditions. Extensive simulation studies and real-world data experiments showcase the advantages of our proposed method compared to various classical and state-of-the-art approaches to missing data imputation.
- Abstract(参考訳): データの欠落は、データ分析におけるユビキタスな課題であり、しばしばバイアスと不正確な結果につながる。
従来の計算手法では、欠落メカニズムが欠落した値自体から独立しているMAR(英語版)であると仮定することが多い。
この仮定は現実世界のシナリオでしばしば破られ、この課題に深層学習を用いた計算手法の最近の進歩によって引き起こされる。
しかし、これらの手法は、非パラメトリックな非ランダムデータ(MNAR)において重要な問題を無視しており、バイアスや信頼性の低い結果をもたらす可能性がある。
本稿では,MNARデータに対する深層潜伏変動モデルに基づく新しいフレームワークを提案することにより,このギャップを埋めることを目指す。
条件付き無自己感性変数の仮定に基づいて,データ分布の同定可能性を確立する。
この決定的な理論的結果は、我々のアプローチの実現可能性を保証する。
未知パラメータを効果的に推定するために,重要度重み付きオートエンコーダを用いた効率的なアルゴリズムを開発した。
我々は, 理論上も経験的にも, 特定の正則条件下での接地的関節分布を正確に再現できることを実証する。
大規模なシミュレーション研究と実世界のデータ実験により提案手法の利点が示された。
関連論文リスト
- Robust Uncertainty Estimation under Distribution Shift via Difference Reconstruction [2.920726125254978]
深層学習モデルの不確実性を推定することは、医用画像などの高精細な応用において、信頼性の高い意思決定に不可欠である。
以前の研究では、入力サンプルと再構成されたバージョンの違いが不確実性の指標となることが確認されている。
本研究では、2つの中間層からの入力を再構成し、その出力間の差を不確かさスコアとして測定することにより、この制限を緩和する差分再構成不確実性推定法(DRUE)を提案する。
論文 参考訳(メタデータ) (2026-01-27T08:23:00Z) - Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
現実の時系列では欠落値が一般的である。
現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。
このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。
本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
論文 参考訳(メタデータ) (2025-09-27T20:57:48Z) - Recursive Equations For Imputation Of Missing Not At Random Data With Sparse Pattern Support [8.863778901027061]
データ分析パイプラインで欠落した値を処理するための一般的なアプローチは、ソフトウェアパッケージによる複数の命令である。
我々は、欠落したデータのグラフィカルモデルにおける全データ法則の新たな特徴付けを開発する。
MISPRは、データがMARの場合、MICEに匹敵する結果を得るが、MNARの場合、より優れ、バイアスの少ない結果が得られる。
論文 参考訳(メタデータ) (2025-07-21T23:18:36Z) - Robust Molecular Property Prediction via Densifying Scarce Labeled Data [53.24886143129006]
薬物発見において、研究を進める上で最も重要な化合物は、しばしば訓練セットを越えている。
本稿では, ラベル付きデータを利用して, 分布内データ(ID)と分布外データ(OOD)を補間する2段階最適化手法を提案する。
論文 参考訳(メタデータ) (2025-06-13T15:27:40Z) - Sufficient Identification Conditions and Semiparametric Estimation under
Missing Not at Random Mechanisms [4.211128681972148]
統計的に有効な分析を行うことは、MNARデータの存在において困難である。
従来のMNARモデルを2つの方法で一般化したMNARモデルを考える。
そこで本稿では,確率比をパラメータとして,そのようなモデルで符号化された独立性制約をテストする手法を提案する。
論文 参考訳(メタデータ) (2023-06-10T13:46:16Z) - MissDAG: Causal Discovery in the Presence of Missing Data with
Continuous Additive Noise Models [78.72682320019737]
不完全な観測データから因果発見を行うため,MissDAGと呼ばれる一般的な手法を開発した。
MissDAGは、期待-最大化の枠組みの下で観測の可視部分の期待される可能性を最大化する。
各種因果探索アルゴリズムを組み込んだMissDAGの柔軟性について,広範囲なシミュレーションと実データ実験により検証した。
論文 参考訳(メタデータ) (2022-05-27T09:59:46Z) - MIRACLE: Causally-Aware Imputation via Learning Missing Data Mechanisms [82.90843777097606]
欠落データに対する因果認識型計算アルゴリズム(MIRACLE)を提案する。
MIRACLEは、欠落発生機構を同時にモデル化することにより、ベースラインの計算を反復的に洗練する。
我々は、MIRACLEが一貫してイミューテーションを改善することができることを示すために、合成および様々な公開データセットに関する広範な実験を行う。
論文 参考訳(メタデータ) (2021-11-04T22:38:18Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Uncertainty-Gated Stochastic Sequential Model for EHR Mortality
Prediction [6.170898159041278]
本稿では,欠落変数の分布を推定し,隠れ状態の更新を行い,院内死亡の可能性を予測できる新しい変動再帰ネットワークを提案する。
我々のモデルは、これらの手順を1つのストリームで実行し、エンドツーエンドで全てのネットワークパラメータを共同で学習できることは注目に値する。
論文 参考訳(メタデータ) (2020-03-02T04:41:28Z) - MissDeepCausal: Causal Inference from Incomplete Data Using Deep Latent
Variable Models [14.173184309520453]
因果推論の最先端の手法は、欠落した値を考慮していない。
欠落したデータは、適応された未確立仮説を必要とする。
欠落した値に適応した変分オートエンコーダを通じて分布を学習する潜在的共同設立者について考察する。
論文 参考訳(メタデータ) (2020-02-25T12:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。