論文の概要: Evaluating Model Performance in Medical Datasets Over Time

• arxiv url: http://arxiv.org/abs/2305.13426v1
• Date: Mon, 22 May 2023 19:16:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 20:59:32.444369
• Title: Evaluating Model Performance in Medical Datasets Over Time
• Title（参考訳）: 医療データセットにおける時間的モデル性能の評価
• Authors: Helen Zhou, Yuwen Chen, Zachary C. Lipton
• Abstract要約: 本研究は,EMDOT(A Evaluation on Medical datasets Over Time)フレームワークを提案する。 バックテストの概念にインスパイアされたEMDOTは、実践者が各時点で実行できたかもしれないトレーニング手順をシミュレートする。 データセットによっては、すべての履歴データを使用するのが理想的な場合が多いのに対して、最新のデータのウィンドウを使用する場合、他のケースでは有利な場合があります。
• 参考スコア（独自算出の注目度）: 26.471486383140526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) models deployed in healthcare systems must face data drawn from continually evolving environments. However, researchers proposing such models typically evaluate them in a time-agnostic manner, splitting datasets according to patients sampled randomly throughout the entire study time period. This work proposes the Evaluation on Medical Datasets Over Time (EMDOT) framework, which evaluates the performance of a model class across time. Inspired by the concept of backtesting, EMDOT simulates possible training procedures that practitioners might have been able to execute at each point in time and evaluates the resulting models on all future time points. Evaluating both linear and more complex models on six distinct medical data sources (tabular and imaging), we show how depending on the dataset, using all historical data may be ideal in many cases, whereas using a window of the most recent data could be advantageous in others. In datasets where models suffer from sudden degradations in performance, we investigate plausible explanations for these shocks. We release the EMDOT package to help facilitate further works in deployment-oriented evaluation over time.
• Abstract（参考訳）: 医療システムにデプロイされる機械学習(ML)モデルは、継続的に進化する環境から引き出されたデータに直面する必要がある。 しかし、そのようなモデルを提案する研究者は通常、時間に依存しない方法で評価し、研究期間全体を通してランダムにサンプルされた患者に従ってデータセットを分割する。 本研究は,時間にわたってモデルクラスの性能を評価するEMDOTフレームワークを提案する。 バックテストの概念にインスパイアされたEMDOTは、実践者が各時点で実行できたかもしれないトレーニング手順をシミュレートし、将来のすべてのポイントで得られたモデルを評価する。 6つの異なる医療データソース(表と画像)で、リニアモデルとより複雑なモデルの両方を評価することで、データセットに依存するか、すべての履歴データを使用することは、多くの場合、理想的であるかを示します。 モデルが突然の性能低下に苦しむデータセットにおいて、これらのショックに対する妥当な説明を調査する。 EMDOTパッケージをリリースし、時間とともにデプロイメント指向の評価のさらなる作業を支援する。

関連論文リスト

• Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
  EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。 時間間隔推定を組み込んだ拡散モデルである。 我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
  論文  参考訳（メタデータ） (2024-06-20T02:20:23Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [115.501751261878]
  人為的なデータに基づく微調整言語モデル(LM)が普及している。 我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。 ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-11T18:17:43Z)
• MADS: Modulated Auto-Decoding SIREN for time series imputation [9.673093148930874]
  我々は,暗黙のニューラル表現に基づく時系列計算のための新しい自動デコードフレームワークMADSを提案する。 実世界の2つのデータセット上で本モデルを評価し,時系列計算における最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-03T09:08:47Z)
• Federated Learning of Medical Concepts Embedding using BEHRT [0.0]
  医療概念の埋め込み学習のための連合学習手法を提案する。 我々のアプローチは、EHRのディープニューラルネットワークモデルであるBEHRTのような埋め込みモデルに基づいている。 我々は、FLで訓練されたモデルと集中型データで訓練されたモデルのパフォーマンスを比較した。
  論文  参考訳（メタデータ） (2023-05-22T14:05:39Z)
• Can LMs Generalize to Future Data? An Empirical Analysis on Text Summarization [50.20034493626049]
  最近の学習済み言語モデル(PLM)は、既存の抽象的な要約データセットにおいて有望な結果をもたらす。 既存の要約ベンチマークは、標準の事前学習コーパスと微調整データセットと時間的に重複する。 要約モデルに格納されたパラメトリック知識は、将来のデータに対する生成した要約の忠実度に大きく影響することを示す。
  論文  参考訳（メタデータ） (2023-05-03T08:08:07Z)
• Model Evaluation in Medical Datasets Over Time [26.471486383140526]
  本稿では,EMDOTフレームワークとPythonパッケージの評価について紹介し,時間とともにモデルクラスの性能を評価する。 我々は,(1)すべての履歴データを使用する,(2)最新のデータのウィンドウを使用する,という2つのトレーニング戦略を比較した。 時間とともにパフォーマンスが変化していることに注意し、これらのショックの可能な説明を明らかにします。
  論文  参考訳（メタデータ） (2022-11-14T07:53:36Z)
• Quantifying Quality of Class-Conditional Generative Models in Time-Series Domain [4.219228636765818]
  Inception Time Score(ITS)とFrechet Inception Time Distance(FITD)を導入し、時系列領域におけるクラス条件生成モデルの質的性能を評価する。 提案した指標の識別能力を調べるため,80種類のデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-10-14T08:13:20Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Learning to be a Statistician: Learned Estimator for Number of Distinct Values [54.629042119819744]
  列内の異なる値の数(NDV)を推定することは、データベースシステムにおける多くのタスクに有用である。 本研究では、ランダム(オンライン/オフライン)サンプルから正確なNDV推定を導出する方法に焦点を当てる。 教師付き学習フレームワークにおいて,NDV推定タスクを定式化し,モデルを推定対象として学習することを提案する。
  論文  参考訳（メタデータ） (2022-02-06T15:42:04Z)
• A Real Use Case of Semi-Supervised Learning for Mammogram Classification in a Local Clinic of Costa Rica [0.5541644538483946]
  ディープラーニングモデルのトレーニングには、かなりの量のラベル付きイメージが必要です。 多くの公開データセットが、さまざまな病院や診療所のデータで構築されている。 ラベルなしデータを利用した半教師付き深層学習手法であるMixMatchを提案し評価した。
  論文  参考訳（メタデータ） (2021-07-24T22:26:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。