論文の概要: Survey-aware Machine Learning: A Guideline for Valid Population Health Inference based on Scoping Review
- arxiv url: http://arxiv.org/abs/2605.08963v1
- Date: Sat, 09 May 2026 14:03:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.995766
- Title: Survey-aware Machine Learning: A Guideline for Valid Population Health Inference based on Scoping Review
- Title(参考訳): サーベイ・アウェア・マシン・ラーニング:スコーピング・レビューに基づく健康診断のためのガイドライン
- Abstract要約: 複雑な健康調査でトレーニングされた機械学習モデルは、プライマリサンプリングユニット、成層変数、サンプリングウェイトを無視することが多い。
そこで我々は,9段階のガイドラインであるサーベイ・アウェア・機械学習(SaML)を提案する。
- 参考スコア(独自算出の注目度): 5.013299196911008
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine Learning (ML) models trained on complex health surveys such as the National Health and Nutrition Examination Survey (NHANES) often ignore primary sampling units, stratification variables, and sampling weights. This practice violates the independence assumptions of standard evaluation methods. As a result, estimates become biased, uncertainty is underestimated, and fairness assessments fail to reflect population-level disparities. We propose Survey-aware Machine Learning (SaML), a nine-step guideline that incorporates survey design metadata across the ML lifecycle. Through a scoping review of 16 methodological papers, we summarize existing work on weighted model training, design-based cross-validation, and survey-adjusted performance evaluation. We also identify gaps in hyperparameter tuning and deployment. We provide task-specific guidance that clarifies which steps are required for different analytical objectives. SaML provides a checklist for valid population inference from survey data.
- Abstract(参考訳): NHANES(National Health and Nutrition Examination Survey)のような複雑な健康調査でトレーニングされた機械学習(ML)モデルは、一次サンプリング単位、成層変数、サンプリング重量を無視することが多い。
この慣行は、標準評価手法の独立性前提に違反している。
その結果、見積もりは偏り、不確実性は過小評価され、公平性評価は人口レベルの格差を反映しない。
そこで我々は,9段階のガイドラインであるサーベイ・アウェア・機械学習(SaML)を提案する。
16の方法論論文のスコーピングレビューを通じて、重み付けモデルトレーニング、設計に基づくクロスバリデーション、調査調整性能評価に関する既存の研究を要約した。
ハイパーパラメータチューニングとデプロイメントのギャップも認識しています。
我々は、異なる分析目的のためにどのステップが必要かを明確にするタスク固有のガイダンスを提供する。
SaMLは、調査データから有効な人口推定のためのチェックリストを提供する。
関連論文リスト
- Rethinking the Evaluation and Optimization of LLM-Based Social Simulation [56.18577997572273]
主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。
我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。
SUBJSIMの結果は,本手法の利点を示すものである。
論文 参考訳(メタデータ) (2026-08-20T06:26:03Z) - Absolute Evaluation Measures for Machine Learning: A Survey [0.0]
この調査は、機械学習における絶対評価指標の概要を提供する。
学習のタイプによって構成され、クラスタリング、回帰、ランキングのメトリクスをカバーする。
モデルの適切なメトリクスを選択するために必要なツールを実践者に提供することを目的としている。
論文 参考訳(メタデータ) (2025-07-04T08:53:08Z) - Should you use LLMs to simulate opinions? Quality checks for early-stage deliberation [5.4260854377259315]
そこで我々は,LLMを模擬したQuality Controlアセスメントを提案する。
この評価は2つの重要なテストから成っている。
どのモデルやメソッドも完全な評価をパスせず、いくつかの障害モードを明らかにします。
論文 参考訳(メタデータ) (2025-04-11T20:16:02Z) - Zero-shot Generative Large Language Models for Systematic Review
Screening Automation [55.403958106416574]
本研究では,ゼロショット大言語モデルを用いた自動スクリーニングの有効性について検討した。
本研究では, 8種類のLCMの有効性を評価し, 予め定義されたリコール閾値を用いた校正手法について検討する。
論文 参考訳(メタデータ) (2024-01-12T01:54:08Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [117.72709110877939]
テスト時間適応(TTA)は、事前訓練されたモデルをテスト中に、予測する前にラベルのないデータに適応する可能性がある。
TTAはテスト時間領域適応、テスト時間バッチ適応、オンラインテスト時間適応といったテストデータの形態に基づいて、いくつかの異なるグループに分類される。
論文 参考訳(メタデータ) (2023-03-27T16:32:21Z) - Ontology-aware Learning and Evaluation for Audio Tagging [56.59107110017436]
平均平均精度(mAP)は、異なる種類の音をそれらの関係を考慮せずに独立したクラスとして扱う。
オントロジー認識平均平均精度(OmAP)は、評価中にAudioSetオントロジー情報を利用することで、mAPの弱点に対処する。
我々は人間の評価を行い、OmAPはmAPよりも人間の知覚と一致していることを示した。
論文 参考訳(メタデータ) (2022-11-22T11:35:14Z) - Avoiding Biased Clinical Machine Learning Model Performance Estimates in
the Presence of Label Selection [3.3944964838781093]
ラベル選択の3つのクラスを記述し、5つの因果的シナリオをシミュレートし、特定の選択メカニズムが、一般的に報告されているバイナリ機械学習モデルパフォーマンス指標の組に偏っているかを評価する。
その結果, 観測個体群におけるAUROCの有意な推定値が, 実成績を最大20%下回っていることがわかった。
このような格差は、成功した臨床意思決定支援ツールの誤った終了につながるのに十分大きな可能性がある。
論文 参考訳(メタデータ) (2022-09-15T22:30:14Z) - Evaluation Gaps in Machine Learning Practice [13.963766987258161]
実際に、機械学習モデルの評価は、しばしば、非文脈化された予測行動の狭い範囲に焦点を当てる。
評価対象の理想化された幅と実際の評価対象の狭い焦点との間の評価ギャップについて検討した。
これらの特性を研究することで、規範的な影響を持つコミットメントの範囲について、機械学習分野の暗黙の仮定を実証する。
論文 参考訳(メタデータ) (2022-05-11T04:00:44Z) - Spatial machine-learning model diagnostics: a model-agnostic
distance-based approach [91.62936410696409]
本研究は,空間予測誤差プロファイル (SPEP) と空間変数重要度プロファイル (SVIP) を,新しいモデルに依存しない評価・解釈ツールとして提案する。
統計学的手法、線形モデル、ランダムフォレスト、ハイブリッドアルゴリズムのSPEPとSVIPは、顕著な差異と関連する類似性を示している。
この新しい診断ツールは空間データ科学のツールキットを充実させ、MLモデルの解釈、選択、設計を改善する可能性がある。
論文 参考訳(メタデータ) (2021-11-13T01:50:36Z) - Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in
Partially Observed Markov Decision Processes [65.91730154730905]
医療や教育などの観察データへのオフライン強化学習の適用においては、観察された行動は観測されていない要因に影響される可能性があるという一般的な懸念がある。
ここでは、部分的に観察されたマルコフ決定過程(POMDP)における非政治評価を考慮し、この問題に取り組む。
我々は、近位因果推論の枠組みをPOMDP設定に拡張し、識別が可能となる様々な設定を提供する。
論文 参考訳(メタデータ) (2021-10-28T17:46:14Z) - Efficient Estimation and Evaluation of Prediction Rules in
Semi-Supervised Settings under Stratified Sampling [6.930951733450623]
本稿では,2段階の半教師付き学習(SSL)手法を提案する。
ステップIでは、非ランダムサンプリングを考慮した非線形基底関数による重み付き回帰により、欠落ラベルをインプットする。
ステップIIでは、結果の予測器の整合性を確保するために、初期計算を増強する。
論文 参考訳(メタデータ) (2020-10-19T12:54:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。