論文の概要: Benchmarking AutoML Frameworks for Disease Prediction Using Medical
Claims
- arxiv url: http://arxiv.org/abs/2107.10495v1
- Date: Thu, 22 Jul 2021 07:34:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-23 12:51:04.875438
- Title: Benchmarking AutoML Frameworks for Disease Prediction Using Medical
Claims
- Title(参考訳): 医療クレームを用いた疾患予測のためのオートMLフレームワークのベンチマーク
- Authors: Roland Albert A. Romero, Mariefel Nicole Y. Deypalan, Suchit Mehrotra,
John Titus Jungao, Natalie E. Sheils, Elisabetta Manduchi and Jason H. Moore
- Abstract要約: 我々は、人口統計情報や病気コード用のフラグなど、歴史的行政的主張を用いた大規模なデータセットを作成した。
このデータセット上で3つのAutoMLツールをトレーニングし、2019年の6つの異なる疾患結果を予測するとともに、いくつかのメトリクスでモデルパフォーマンスを評価しました。
全てのモデルでは、精度・リコール曲線の下で低面積を記録し、正の正の予測に失敗し、正の負の速度を高く保った。
- 参考スコア(独自算出の注目度): 7.219529711278771
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We ascertain and compare the performances of AutoML tools on large, highly
imbalanced healthcare datasets.
We generated a large dataset using historical administrative claims including
demographic information and flags for disease codes in four different time
windows prior to 2019. We then trained three AutoML tools on this dataset to
predict six different disease outcomes in 2019 and evaluated model performances
on several metrics.
The AutoML tools showed improvement from the baseline random forest model but
did not differ significantly from each other. All models recorded low area
under the precision-recall curve and failed to predict true positives while
keeping the true negative rate high. Model performance was not directly related
to prevalence. We provide a specific use-case to illustrate how to select a
threshold that gives the best balance between true and false positive rates, as
this is an important consideration in medical applications.
Healthcare datasets present several challenges for AutoML tools, including
large sample size, high imbalance, and limitations in the available features
types. Improvements in scalability, combinations of imbalance-learning
resampling and ensemble approaches, and curated feature selection are possible
next steps to achieve better performance.
Among the three explored, no AutoML tool consistently outperforms the rest in
terms of predictive performance. The performances of the models in this study
suggest that there may be room for improvement in handling medical claims data.
Finally, selection of the optimal prediction threshold should be guided by the
specific practical application.
- Abstract(参考訳): 大規模で高度にバランスの取れない医療データセットにおけるautomlツールのパフォーマンスを確認し比較する。
2019年以前の4つのタイムウィンドウに,人口統計情報や疾病コードに関するフラグなど,過去の管理上の主張を使って,大規模なデータセットを作成しました。
そして、このデータセット上で3つのAutoMLツールをトレーニングし、2019年の6つの異なる疾患結果を予測するとともに、いくつかのメトリクスでモデルパフォーマンスを評価しました。
AutoMLツールでは、ベースラインのランダムフォレストモデルから改善が見られたが、大きな違いはなかった。
全てのモデルは精度・リコール曲線の下で低面積を記録し, 正の正の予測に失敗した。
モデルのパフォーマンスは、流行に直接関係していなかった。
医学的応用において重要な考慮事項である真正と偽正の正の比率の最良のバランスを与えるしきい値の選択方法を説明するための具体的なユースケースを提供する。
ヘルスケアデータセットは、大きなサンプルサイズ、高い不均衡、利用可能な機能タイプの制限など、AutoMLツールにいくつかの課題を提示している。
スケーラビリティの向上、不均衡学習リサンプリングとアンサンブルアプローチの組み合わせ、そして、改善された機能選択が次のステップで実現され、パフォーマンスが向上する。
調査対象の3つの中で、予測パフォーマンスという点では、AutoMLツールが他のツールよりも一貫して優れています。
本研究におけるモデルの性能は,医療請求データの取り扱いに改善の余地がある可能性が示唆された。
最後に、最適な予測しきい値の選択は、特定の実用的応用によって導かれるべきである。
関連論文リスト
- LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。
以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
論文 参考訳(メタデータ) (2024-07-02T22:23:40Z) - The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳(メタデータ) (2023-09-13T10:40:41Z) - Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review
and Replicability Study [60.56194508762205]
我々は、最先端の医療自動化機械学習モデルを再現し、比較し、分析する。
その結果, 弱い構成, サンプル化の不十分さ, 評価の不十分さなどにより, いくつかのモデルの性能が低下していることが判明した。
再生モデルを用いたMIMIC-IVデータセットの総合評価を行った。
論文 参考訳(メタデータ) (2023-04-21T11:54:44Z) - A prediction and behavioural analysis of machine learning methods for
modelling travel mode choice [0.26249027950824505]
我々は、モデル選択に影響を及ぼす可能性のある重要な要因の観点から、複数のモデリング問題に対して異なるモデリングアプローチを体系的に比較する。
その結果,非凝集性予測性能が最も高いモデルでは,行動指標やアグリゲーションモードのシェアが低下することが示唆された。
MNLモデルは様々な状況において堅牢に機能するが、ML手法はWillingness to Payのような行動指標の推定を改善することができる。
論文 参考訳(メタデータ) (2023-01-11T11:10:32Z) - Robust self-healing prediction model for high dimensional data [0.685316573653194]
本研究は、ロバスト自己治癒(RSH)ハイブリッド予測モデルを提案する。
それは、データを捨てるのではなく、エラーや不整合を取り除くことによって、データ全体を活用することによって機能する。
提案手法は,既存のハイパフォーマンスモデルと比較し,解析を行った。
論文 参考訳(メタデータ) (2022-10-04T17:55:50Z) - Automatic Pharma News Categorization [0.0]
医薬情報科学に関連する23のニュースカテゴリからなるテキストデータセットを使用する。
分類タスクにおける複数変圧器モデルの微調整性能を比較した。
本稿では,最上位の個人予測器からなるアンサンブルモデルを提案する。
論文 参考訳(メタデータ) (2021-12-28T08:42:16Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳(メタデータ) (2021-06-01T22:33:53Z) - Curse of Small Sample Size in Forecasting of the Active Cases in
COVID-19 Outbreak [0.0]
新型コロナウイルス(COVID-19)のパンデミックでは、感染者数や今後の流行を予想する試みが多数行われている。
しかし、信頼性の高い方法では、新型コロナウイルス(COVID-19)の根本的特徴の中期的・長期的進化を許容できる精度で予測することができない。
本稿では,この予測問題における機械学習モデルの故障について説明する。
論文 参考訳(メタデータ) (2020-11-06T23:13:34Z) - Self-Training with Improved Regularization for Sample-Efficient Chest
X-Ray Classification [80.00316465793702]
挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。
その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
論文 参考訳(メタデータ) (2020-05-03T02:36:00Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。