論文の概要: Inferential Evaluation of Surrogate-Derived Models under Covariate Shift
- arxiv url: http://arxiv.org/abs/2608.15783v1
- Date: Sun, 16 Aug 2026 15:05:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.421882
- Title: Inferential Evaluation of Surrogate-Derived Models under Covariate Shift
- Title(参考訳): 共変量シフト下におけるサロゲート微分モデルの推論評価
- Abstract要約: トランスファーラーニング環境では、サロゲートラベルから派生したモデルが、ゴールド標準結果が観測されないターゲット人口に展開される可能性がある。
小型のゴールドラベル源,大型のサロゲートラベル源,未ラベルターゲットを用いた3サンプル設定について検討した。
条件付き輸送性では,ターゲット個体群における潜伏する金標準結果に対して,サロゲート由来のモデルを評価する。
- 参考スコア(独自算出の注目度): 5.27896359595804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In transfer-learning settings, a model derived from abundant surrogate labels may be deployed in a target population where gold-standard outcomes are unobserved. Evaluating its target performance is essential for determining whether decisions based on the model remain reliable, yet it is difficult when gold labels are scarce, and covariate distributions differ across data sources. We study a three-sample setting with a small gold-labeled source, a larger surrogate-labeled source, and an unlabeled target. Under conditional transportability, we evaluate the surrogate-derived model against the latent gold-standard outcome in the target population. We propose cross-fitted estimators that transport information from the two labeled sources through source-specific density ratios. We also combine outcome-regression augmentation with a kernel correction for estimating the model near a threshold, accounting for uncertainty from all three samples. We establish asymptotically linear inference for TPR and FPR, consistency and pointwise inference for the ROC curve, and asymptotically normal inference for AUC. Simulations assess bias, coverage, and sensitivity to bandwidth and relative sample sizes. A retrospective temporal validation on Chatbot Arena and a semi-synthetic ACS-Income study provide validation in real-world AI applications.
- Abstract(参考訳): トランスファーラーニング環境では、豊富なサロゲートラベルから派生したモデルが、ゴールド標準結果が観測されないターゲット人口に展開される可能性がある。
モデルに基づく決定が信頼性を維持しているかどうかを判断するためには,目標性能を評価することが不可欠であるが,ゴールドラベルが不足し,データソース間で共変量分布が異なる場合には困難である。
小型のゴールドラベル源,大型のサロゲートラベル源,未ラベルのターゲットを用いた3サンプル設定について検討した。
条件付き輸送性では,ターゲット個体群における潜伏する金標準結果に対して,サロゲート由来のモデルを評価する。
本稿では,2つのラベル付き情報源からソース固有密度比を通じて情報を伝達するクロスフィット推定器を提案する。
また、3つのサンプルからの不確かさを考慮し、しきい値付近のモデルを推定するために、結果回帰とカーネル補正を組み合わせる。
我々は,TPRとFPRの漸近線形推論,ROC曲線の整合性と点方向推論,AUCの漸近正規推論を確立する。
シミュレーションは、帯域幅と相対サンプルサイズに対するバイアス、カバレッジ、感度を評価する。
Chatbot Arenaのふりかえりの時間的検証と半合成のACS-Income研究は、現実世界のAIアプリケーションに検証を提供する。
関連論文リスト
- Uncertainty-based Debiasing and Unlearning for Decontamination [12.593872705071114]
不確実性に基づく除染(UBD)は、汚染されたモデルやサンプルが汚染された知識を必要とせず、サンプルごとの記憶を推定する。
UBDは、パラフレーズや選択置換ベースラインよりも、汚染されていないモデルの出力分布にかなり近いサンプル単位の出力分布を生成する。
論文 参考訳(メタデータ) (2026-06-22T13:26:29Z) - Beyond the Training Distribution: Evaluating Predictions Under Distribution Shift and Selection Bias [4.124127724629818]
デプロイ前に新しい環境で予測モデルがどのように機能するかを検討する。
任意のブラックボックス予測モデルのターゲットリスクを推定するための二重機械学習手法を提案する。
eICU電子健康記録データベースを用いた実験により推定器の評価を行った。
論文 参考訳(メタデータ) (2026-06-12T14:39:03Z) - Pseudo-Labeling for Unsupervised Domain Adaptation with Kernel GLMs [4.153834414190214]
教師なしドメイン適応のための原則的フレームワークを提案する。
我々の目標は、ラベル付きソースデータとラベルなしターゲットデータを活用することで、ターゲット領域における予測誤差を最小限にすることである。
合成データセットと実データセットの実験は、ソースのみのベースラインよりも一貫したパフォーマンス向上を示す。
論文 参考訳(メタデータ) (2026-03-19T19:31:47Z) - Heterogeneous Multisource Transfer Learning via Model Averaging for Positive-Unlabeled Data [2.030810815519794]
本研究では,異種データソースからの情報を直接データ共有なしで統合するトランスファー学習フレームワークを提案する。
各ソースドメインタイプに対して、調整されたロジスティック回帰モデルを実行し、平均化によって知識をPUターゲットドメインに転送する。
提案手法は,特にラベル付きデータや異種環境において,予測精度とロバスト性において,他の比較手法よりも優れる。
論文 参考訳(メタデータ) (2025-11-14T03:15:31Z) - Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳(メタデータ) (2024-10-17T16:42:12Z) - The Decaying Missing-at-Random Framework: Model Doubly Robust Causal Inference with Partially Labeled Data [8.916614661563893]
因果推論を両立させるために,MARフレームワークの欠落と関連するアプローチを導入する。
これはラベル付け機構における選択バイアスとラベル付きグループとラベルなしグループの極端な不均衡に同時に対処する。
因果関係の堅牢性を確保するため,平均治療効果に対するバイアス低減SS推定器を提案する。
論文 参考訳(メタデータ) (2023-05-22T07:37:12Z) - Breaking the Spurious Causality of Conditional Generation via Fairness
Intervention with Corrective Sampling [77.15766509677348]
条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。
これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。
この問題を緩和するための一般的な2段階戦略を提案する。
論文 参考訳(メタデータ) (2022-12-05T08:09:33Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating
and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。
当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文 参考訳(メタデータ) (2021-02-17T18:25:30Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳(メタデータ) (2020-12-16T04:09:04Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。