論文の概要: Heckman-Corrected Epistemic Uncertainty: Selection on Unobservables Defeats Importance Weighting

• arxiv url: http://arxiv.org/abs/2607.05806v1
• Date: Tue, 07 Jul 2026 03:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.395245
• Title: Heckman-Corrected Epistemic Uncertainty: Selection on Unobservables Defeats Importance Weighting
• Title（参考訳）: Heckman-Corrected Epistemic Uncertainty: Selection on Unobservables Defeats Importance Weighting
• Abstract要約: 機械学習のためのトレーニングデータは、モデルが決して見ることのない選択プロセスによって定期的に収集される。 ヘックマンの2方程式モデルは、プロビット選択方程式と相関誤差によってリンクされた結果方程式に適合する。 ヘックマン補正は、選択方程式が -- 選択に影響を与えるが結果には影響しない変数 -- を持つ場合のカバレッジを復元し、測定不能に分解する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training data for machine learning is routinely collected by a selection process the model never sees: loans are observed only when granted, outcomes only when a test was ordered. The standard fixes -- importance weighting, covariate-shift correction, MAR imputation -- assume selection is ignorable given observables. Econometrics solved the harder case in 1979: Heckman's two-equation model jointly fits a probit selection equation and an outcome equation linked through correlated errors, and the inverse-Mills-ratio term corrects for selection on unobservables, where importance weighting is structurally helpless. We instantiate this for deep epistemic uncertainty: a deep outcome network, a linear selection head, and a joint bivariate-normal likelihood over all units, ensembled for predictive variance. In a controlled generator where sampling probability depends on an unobservable correlated (rho up to 0.9) with the outcome noise, deep ensembles, MC dropout, and GP baselines are overconfident exactly where data was avoided: coverage of nominal-90% intervals falls to 64.4% at rho=0.9, and importance weighting with oracle propensities does not fix it (43.1%) -- reweighting corrects the covariate distribution, not the conditional bias E[y|x,selected] != E[y|x]. The Heckman correction restores coverage (88.9%) when the selection equation has an instrument -- a variable affecting selection but not the outcome -- and degrades measurably without one (40.3%); we chart this honesty curve rather than hide it. On real tabular data with induced MNAR selection, the corrected intervals are the best-calibrated (lowest region-ECE) non-oracle method in selected-against regions; baselines matching its raw coverage do so only by over-widening everywhere. Our estimators reproduce classic Stata output to seven digits. We state which identification regime a practitioner is in, and release the code.
• Abstract（参考訳）: 機械学習のためのトレーニングデータは、モデルが決して見ることのない選択プロセスによって定期的に収集される。 標準の修正 -- 重み付け、共変量シフト補正、MAR計算 -- は、選択が観測可能なものに対して無視可能であると仮定する。 ヘックマンの2方程式モデルは、相関誤差によってリンクされたプロビット選択方程式と結果方程式を共同で適合させ、逆ミルズ比項は、重み付けが構造的に無益である非可観測物の選択に対して補正する。 我々はこれを深層てんかんの不確実性(ディープ・エフェクト・ネットワーク、線形選択ヘッド、および全ての単位に対する二変量正規確率)のためにインスタンス化し、予測分散のために組立てる。 サンプリング確率が観測不能な相関(最大0.9)と結果ノイズ(ディープアンサンブル)、MCドロップアウト(MCドロップアウト)、GPベースライン(GPベースライン)に依拠する制御されたジェネレータにおいて、データ回避の正確な場所では、名目-90%間隔のカバレッジは、rho=0.9で64.4%まで低下し、オラクルの正しさによる重み付けは修正されない (43.1%) -- 条件バイアスE[y|x,selected] !=E[y|x]. MNAR選択を誘導した実表データでは、修正された間隔は、選択されたアジャイスト領域における最良校正(最も低い領域-ECE)ノンラクル法である。 我々の推定器は古典的なスタタ出力を7桁に再現する。 実践者がどの識別体制にいるかを述べ、コードを公開します。

関連論文リスト

• Uncertainty Identifies Difficult Samples Across Methods: A Multi-Task Study on a Heterogeneous Skin Lesion Dataset [8.271195591114806]
  精度,キャリブレーション,不確実性分解,リスクカバレッジの5つのUQ手法を比較した。 狭いエントロピーを持つ方法でさえ、ハードと同じサンプルをランク付けする。 方法の選択は、Deep Ensemblesが明らかな勝者であるキャリブレーションと不確実性分解においてより重要である。
  論文  参考訳（メタデータ） (2026-08-14T14:14:13Z)
• Cross-Fitted Residual Utility for Primary-Preserving Cognitive Decision Correction in Automatic Modulation Classification [1.547549252134621]
  本稿では,クロスフィット型残効ユーティリティとプライマリ保存型認知決定ポリシーを用いて,推論後の問題について検討する。 構造化されたkan-Fourier分類器はデフォルトの確率を提供し、ニューラルおよび非ニューラル候補は観測可能な証拠を提供する。 RMLA、RMLB、HISARでは、完全なシステムは全体の精度を63.632%から66.332%、65.161%から66.168%、77.769%から79.867%に改善している。
  論文  参考訳（メタデータ） (2026-08-03T11:07:37Z)
• PAIR-CI: Calibrated Conditional Independence Testing for Causal Discovery with Incomplete Data [0.0]
  PAIR-CIは非パラメトリック条件独立(CI)テストであり,複数の命令を直接推論手順に統合することによりキャリブレーションを回復する。 確率的に一貫した分散推定器は、クロスバリデーションと多重計算による不確かさを共同で説明する。
  論文  参考訳（メタデータ） (2026-05-06T12:34:37Z)
• A Tale of Two Variances: When Single-Seed Benchmarks Fail in Bayesian Deep Learning [10.891872788947298]
  局所CRPS分散は単列推定誤差の直接信号を提供する。 パワーロー適合品質と単調性は、トラジェクトリ正則性のコンパクトなメソッドレベルの要約を提供する。
  論文  参考訳（メタデータ） (2026-04-25T02:52:33Z)
• Fixed-Horizon Self-Normalized Inference for Adaptive Experiments via Martingale AIPW/DML with Logged Propensities [0.0]
  適応的な割り当ての下では、確率は変化し続けるため、AIPW/DMLインクリメントの予測可能な2次変動はランダムのままである。 本研究では,2次変動によって推定される偏差が,分散安定化を伴わずとも条件的に誤校正されていることを示す。
  論文  参考訳（メタデータ） (2026-02-17T13:12:31Z)
• Missing At Random as Covariate Shift: Correcting Bias in Iterative Imputation [5.51520342433892]
  リスク最小化問題として、欠落データ計算を定式化する。 誘導分布バイアスを補正する重要な重みを理論的に有効に導出する。 本稿では,重み付けと計算量モデルの両方を共同で推定する新しい計算アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-02-06T14:02:12Z)
• Regression-Based Estimation of Causal Effects in the Presence of Selection Bias and Confounding [52.1068936424622]
  治療が介入によって設定された場合、対象変数$Y$に対して、予測因果効果$E[Y|do(X)]$を推定する問題を考える。 選択バイアスや欠点のない設定では、$E[Y|do(X)] = E[Y|X]$ となる。 選択バイアスとコンバウンディングの両方を組み込んだフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-26T13:43:37Z)
• Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
  深部異方性回帰における自己教師付き共分散推定について検討する。 正規分布の間の2-ワッサーシュタイン距離の上界を導出する。 幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
  論文  参考訳（メタデータ） (2025-02-14T22:37:11Z)
• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Equivariance and Invariance Inductive Bias for Learning from Insufficient Data [65.42329520528223]
  不十分なデータがモデルを、通常テストとは異なる限られたトレーニング環境にバイアスしやすくする理由が示されています。 従来のIRMにおける環境アノテーションの欠如を効果的に解決するクラスワイド不変リスク最小化(IRM)を提案する。
  論文  参考訳（メタデータ） (2022-07-25T15:26:19Z)
• To Impute or not to Impute? -- Missing Data in Treatment Effect Estimation [84.76186111434818]
  我々は,MCM(Mixed Con founded missingness)と呼ばれる新しい欠損機構を同定し,ある欠損度が治療選択を判断し,他の欠損度が治療選択によって決定されることを示した。 本研究は,全てのデータを因果的に入力すると,不偏推定を行うために必要な情報を効果的に除去するので,処理効果のモデルが貧弱になることを示す。 私たちのソリューションは選択的計算であり、CMMからの洞察を使って、どの変数をインプットすべきで、どの変数をインプットすべきでないかを正確に知らせる。
  論文  参考訳（メタデータ） (2022-02-04T12:08:31Z)
• Decorrelated Clustering with Data Selection Bias [55.91842043124102]
  本稿では,データ選択バイアスを伴うクラスタリングのためのデコリレーション正規化K-Meansアルゴリズム(DCKM)を提案する。 DCKMアルゴリズムは,選択バイアスによって生じる予期せぬ特徴相関を除去する必要があることを示す。
  論文  参考訳（メタデータ） (2020-06-29T08:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。