論文の概要: Beyond the Training Distribution: Evaluating Predictions Under Distribution Shift and Selection Bias

• arxiv url: http://arxiv.org/abs/2606.14506v1
• Date: Fri, 12 Jun 2026 14:39:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.937088
• Title: Beyond the Training Distribution: Evaluating Predictions Under Distribution Shift and Selection Bias
• Title（参考訳）: トレーニングディストリビューションを超えて:分散シフトと選択バイアスによる予測の評価
• Authors: Annie Ulichney, Amanda Coston,
• Abstract要約: デプロイ前に新しい環境で予測モデルがどのように機能するかを検討する。 任意のブラックボックス予測モデルのターゲットリスクを推定するための二重機械学習手法を提案する。 eICU電子健康記録データベースを用いた実験により推定器の評価を行った。
• 参考スコア（独自算出の注目度）: 4.124127724629818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how a prediction model will perform in a new environment before deployment is essential to preventing harm when algorithms inform decision-making. Two common sources of model performance degradation are (i) covariate shift, where the target covariate distribution differs from the source, and (ii) selective labels, where the observability of outcomes depends on historical decisions. We study pre-deployment model evaluation under the joint presence of covariate shift and labeling of outcomes selectively based on observed features. In particular, we present a double machine learning procedure for estimating the target risk of an arbitrary black-box prediction model under a general loss function. We show identification of this estimand under standard assumptions and derive a bias-corrected estimator based on the influence function of the target risk. Finally, we evaluate our estimator through experiments using the eICU electronic health records database, showing that it tracks the true target risk more accurately than methods that address either selective labels or covariate shift alone, as well as baselines that combine standard plug-in approaches.
• Abstract（参考訳）: アルゴリズムが意思決定に通知する際の害を防ぐために、デプロイ前に新しい環境で予測モデルがどのように機能するかを理解することが不可欠である。 モデル性能劣化の原因は2つある。 一 目的共変量分布が原点と異なる共変量シフト (二 結果の可観測性が歴史的決定に依存する選択ラベル 本研究では,共変量シフトと結果のラベル付けの併用による事前配置モデルの評価について,観察された特徴に基づいて検討した。 特に、一般的な損失関数の下で任意のブラックボックス予測モデルのターゲットリスクを推定するための二重機械学習手法を提案する。 標準仮定の下では,この推定値の同定を行い,対象リスクの影響関数に基づいてバイアス補正推定器を導出する。 最後に,eICU電子健康記録データベースを用いて評価を行い,選択ラベルや共変量シフトのみに対処する手法よりも,真のターゲットリスクを正確に追跡し,標準プラグインアプローチを組み合わせたベースラインも評価した。

関連論文リスト

• Conformalized Selective Regression [2.3964255330849356]
  共形予測を利用した選択回帰手法を提案する。 提案手法は, 選択回帰に適合し, 複数の最先端ベースラインに対して有利であることを示す。
  論文  参考訳（メタデータ） (2024-02-26T04:43:50Z)
• Cal-SFDA: Source-Free Domain-adaptive Semantic Segmentation with Differentiable Expected Calibration Error [50.86671887712424]
  ドメイン適応型セマンティックセグメンテーションの流行は、ソースドメインデータの漏洩に関する懸念を引き起こしている。 ソースデータの要求を回避するため、ソースフリーなドメイン適応が実現可能なソリューションとして登場した。 校正誘導型ソースフリーなドメイン適応型セマンティックセマンティックセマンティクスフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-06T03:28:34Z)
• Dirichlet-based Uncertainty Calibration for Active Domain Adaptation [33.33529827699169]
  アクティブドメイン適応(DA)は、アノテートする限られたターゲットデータを積極的に選択することで、新しいターゲットドメインに対するモデル適応を最大限に向上することを目的としている。 従来のアクティブな学習方法は、ドメインシフトの問題を考慮していないため、効果が低い場合がある。 そこで我々は,iDirichlet-based Uncertainty (DUC) approach for active DAを提案する。
  論文  参考訳（メタデータ） (2023-02-27T14:33:29Z)
• Robust Design and Evaluation of Predictive Algorithms under Unobserved Confounding [6.925076885159747]
  本稿では,予測アルゴリズムの堅牢な設計と評価のためのフレームワークを提案する。 様々な不確定な仮定が、所得グループ間での信用リスク予測と公平性評価に大きく影響していることが示される。
  論文  参考訳（メタデータ） (2022-12-19T20:41:44Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• Selecting Treatment Effects Models for Domain Adaptation Using Causal Knowledge [82.5462771088607]
  監視されていないドメイン適応設定下でITE法用に特別に設計された新しいモデル選択メトリックを提案する。 特に,介入効果の予測が対象領域の既知の因果構造を満たすモデルを選択することを提案する。
  論文  参考訳（メタデータ） (2021-02-11T21:03:14Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。