論文の概要: Use case-focused metrics to evaluate machine learning for diseases involving parasite loads

• arxiv url: http://arxiv.org/abs/2209.06947v1
• Date: Wed, 14 Sep 2022 21:48:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-16 13:02:39.502554
• Title: Use case-focused metrics to evaluate machine learning for diseases involving parasite loads
• Title（参考訳）: 寄生虫負荷を伴う疾患に対する機械学習評価のためのユースケース重視メトリクス
• Authors: Charles B. Delahunt, Noni Gachuhi, Matthew P. Horning
• Abstract要約: アルゴリズムの性能を比較することで、コミュニティヒルクライミングはML研究を大幅に加速させることができる。 寄生虫、マラリア、分裂病などの熱帯病(NTD)にかかわる疾患については、ML論文で現在報告されている指標は臨床に不適である。
• 参考スコア（独自算出の注目度）: 1.2891210250935143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Communal hill-climbing, via comparison of algorithm performances, can greatly accelerate ML research. However, it requires task-relevant metrics. For diseases involving parasite loads, e.g., malaria and neglected tropical diseases (NTDs) such as schistosomiasis, the metrics currently reported in ML papers (e.g., AUC, F1 score) are ill-suited to the clinical task. As a result, the hill-climbing system is not enabling progress towards solutions that address these dire illnesses. Drawing on examples from malaria and NTDs, this paper highlights two gaps in current ML practice and proposes methods for improvement: (i) We describe aspects of ML development, and performance metrics in particular, that need to be firmly grounded in the clinical use case, and we offer methods for acquiring this domain knowledge. (ii) We describe in detail performance metrics to guide development of ML models for diseases involving parasite loads. We highlight the importance of a patient-level perspective, interpatient variability, false positive rates, limit of detection, and different types of error. We also discuss problems with ROC curves and AUC as commonly used in this context.
• Abstract（参考訳）: アルゴリズムの性能を比較することで、コミュニティヒルクライミングはML研究を大幅に加速させることができる。 しかし、タスク関連メトリクスが必要です。 寄生虫、マラリア、分裂病などの熱帯病(NTD)にかかわる疾患については、現在ML論文(AUC、F1スコアなど)で報告されている指標が臨床に不適である。 その結果、ヒルクライミングシステムは、これらの厄介な病気に対処するソリューションへの進歩を許していない。 本稿では,マラリアとntdの事例をもとに,現在のml実践における2つのギャップを取り上げ,改善方法を提案する。 (i)臨床ユースケースにしっかりと根ざす必要があるML開発,特にパフォーマンス指標の側面を説明し,この領域の知識を得るための方法を提案する。 (II) 寄生虫負荷を伴う疾患に対するMLモデルの開発を指導するためのパフォーマンス指標を詳細に述べる。 患者レベルの視点,患者間の多様性,偽陽性率,検出限界,エラーの種類などの重要性を強調した。 また、この文脈でよく用いられるROC曲線やAUCの問題についても論じる。

関連論文リスト

• Assessing and Enhancing Large Language Models in Rare Disease Question-answering [64.32570472692187]
  本稿では,レアな疾患の診断におけるLarge Language Models (LLMs) の性能を評価するために,レアな疾患問合せデータセット(ReDis-QA)を導入する。 ReDis-QAデータセットでは1360の高品質な質問応答ペアを収集し,205の稀な疾患をカバーした。 その後、いくつかのオープンソースのLCMをベンチマークし、希少疾患の診断がこれらのモデルにとって重要な課題であることを示した。 実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
  論文  参考訳（メタデータ） (2024-08-15T21:09:09Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• The Significance of Machine Learning in Clinical Disease Diagnosis: A Review [0.0]
  本研究では、時系列医療指標における心拍データの伝達を改善するための機械学習アルゴリズムの能力について検討する。 検討中の要因は、アルゴリズムの利用、対象とする疾患の種類、採用されるデータの種類、応用、評価指標などである。
  論文  参考訳（メタデータ） (2023-10-25T20:28:22Z)
• Mixed-Integer Projections for Automated Data Correction of EMRs Improve Predictions of Sepsis among Hospitalized Patients [7.639610349097473]
  本稿では,領域制約として臨床専門知識をシームレスに統合する革新的プロジェクションに基づく手法を提案する。 我々は、患者データの健全な範囲を規定する制約から補正されたデータの距離を測定する。 AUROCは0.865で、精度は0.922で、従来のMLモデルを上回る。
  論文  参考訳（メタデータ） (2023-08-21T15:14:49Z)
• Artificial Intelligence for Dementia Research Methods Optimization [0.49050354212898845]
  本稿では,認知症研究において最も頻繁に使用される機械学習アルゴリズムの概要を紹介する。 本稿では, 再現性と解釈可能性の問題と, 認知症研究の臨床的応用性への影響について論じる。 本稿では, 伝達学習, マルチタスク学習, 強化学習といった最先端の手法が, これらの課題を克服するためにどのように応用されるかを示す。
  論文  参考訳（メタデータ） (2023-03-02T08:50:25Z)
• Detecting Shortcut Learning for Fair Medical AI using Shortcut Testing [62.9062883851246]
  機械学習は医療の改善に大いに貢献するが、その利用が健康格差を広めたり増幅したりしないことを確実にすることは重要である。 アルゴリズムの不公平性の潜在的な要因の1つ、ショートカット学習は、トレーニングデータにおける不適切な相関に基づいてMLモデルが予測した時に発生する。 マルチタスク学習を用いて,臨床MLシステムの公平性評価の一環として,ショートカット学習の評価と緩和を行う手法を提案する。
  論文  参考訳（メタデータ） (2022-07-21T09:35:38Z)
• Benchmarking Machine Learning Robustness in Covid-19 Genome Sequence Classification [109.81283748940696]
  我々は、IlluminaやPacBioといった一般的なシークエンシングプラットフォームのエラープロファイルを模倣するために、SARS-CoV-2ゲノム配列を摂動する方法をいくつか紹介する。 シミュレーションに基づくいくつかのアプローチは、入力シーケンスに対する特定の敵攻撃に対する特定の埋め込み手法に対して、他の手法よりも堅牢(かつ正確)であることを示す。
  論文  参考訳（メタデータ） (2022-07-18T19:16:56Z)
• Benchmarking Heterogeneous Treatment Effect Models through the Lens of Interpretability [82.29775890542967]
  治療のパーソナライズされた効果を見積もるのは複雑だが、普及している問題である。 ヘテロジニアス処理効果推定に関する機械学習文献の最近の進歩は、洗練されたが不透明なツールの多くを生み出した。 我々は、ポストホックな特徴重要度法を用いて、モデルの予測に影響を及ぼす特徴を特定する。
  論文  参考訳（メタデータ） (2022-06-16T17:59:05Z)
• Rethinking Machine Learning Model Evaluation in Pathology [3.0575251867964153]
  本稿では,病理学における機械学習評価のための実践的ガイドラインを提案する。 本報告では,評価フレームワークの設定,ラベルの多様性の効果的対応,および推奨テストスイートについて述べる。 提案されたフレームワークが、ML研究者とドメインエキスパートのギャップを埋め、病理学におけるMLテクニックの広範な採用につながることを期待しています。
  論文  参考訳（メタデータ） (2022-04-11T15:49:12Z)
• VBridge: Connecting the Dots Between Features, Explanations, and Data for Healthcare Models [85.4333256782337]
  VBridgeは、臨床医の意思決定ワークフローに機械学習の説明をシームレスに組み込むビジュアル分析ツールである。 我々は,臨床医がMLの特徴に慣れていないこと,文脈情報の欠如,コホートレベルの証拠の必要性など,3つの重要な課題を特定した。 症例スタディと専門医4名のインタビューを通じて, VBridgeの有効性を実証した。
  論文  参考訳（メタデータ） (2021-08-04T17:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。