論文の概要: An Efficient Contrastive Unimodal Pretraining Method for EHR Time Series Data

• arxiv url: http://arxiv.org/abs/2410.09199v1
• Date: Fri, 11 Oct 2024 19:05:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 15:43:17.638371
• Title: An Efficient Contrastive Unimodal Pretraining Method for EHR Time Series Data
• Title（参考訳）: EHR時系列データの効率的なコントラスト付き単モーダル事前学習法
• Authors: Ryan King, Shivesh Kodali, Conrad Krueger, Tianbao Yang, Bobak J. Mortazavi,
• Abstract要約: 本稿では,長期臨床経過データに適した比較事前学習法を提案する。 本モデルでは, 臨床医が患者の症状についてより深い知見を得られるように, 欠損測定をインプットする能力を示す。
• 参考スコア（独自算出の注目度）: 35.943089444017666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning has revolutionized the modeling of clinical timeseries data. Using machine learning, a Deep Neural Network (DNN) can be automatically trained to learn a complex mapping of its input features for a desired task. This is particularly valuable in Electronic Health Record (EHR) databases, where patients often spend extended periods in intensive care units (ICUs). Machine learning serves as an efficient method for extract meaningful information. However, many state-of-the-art (SOTA) methods for training DNNs demand substantial volumes of labeled data, posing significant challenges for clinics in terms of cost and time. Self-supervised learning offers an alternative by allowing practitioners to extract valuable insights from data without the need for costly labels. Yet, current SOTA methods often necessitate large data batches to achieve optimal performance, increasing computational demands. This presents a challenge when working with long clinical timeseries data. To address this, we propose an efficient method of contrastive pretraining tailored for long clinical timeseries data. Our approach utilizes an estimator for negative pair comparison, enabling effective feature extraction. We assess the efficacy of our pretraining using standard self-supervised tasks such as linear evaluation and semi-supervised learning. Additionally, our model demonstrates the ability to impute missing measurements, providing clinicians with deeper insights into patient conditions. We demonstrate that our pretraining is capable of achieving better performance as both the size of the model and the size of the measurement vocabulary scale. Finally, we externally validate our model, trained on the MIMIC-III dataset, using the eICU dataset. We demonstrate that our model is capable of learning robust clinical information that is transferable to other clinics.
• Abstract（参考訳）: 機械学習は、臨床時系列データのモデリングに革命をもたらした。 マシンラーニングを使用することで、Deep Neural Network(DNN)を自動的にトレーニングして、必要なタスクに対する入力機能の複雑なマッピングを学習することが可能になる。 これはElectronic Health Record(EHR)データベースにおいて特に有用であり、患者は集中治療単位(ICU)に長い期間を費やすことが多い。 機械学習は、意味のある情報を抽出する効率的な方法として機能する。 しかし、DNNを訓練するための多くの最先端のSOTA(State-of-the-art)手法は、大量のラベル付きデータを要求しており、費用と時間の観点から、クリニックにとって重要な課題となっている。 自己教師型学習は、実践者が高価なラベルを必要とせずに、データから貴重な洞察を抽出できるようにすることによって、代替手段を提供する。 しかし、現在のSOTA法は、最適な性能を達成するために大規模なデータバッチを必要とすることが多く、計算要求が増加する。 これは、長い臨床経過データを扱う場合の課題である。 そこで本研究では,長期臨床の時系列データに適したコントラスト前訓練法を提案する。 提案手法は, 負対比較のための推定器を用いて, 効果的な特徴抽出を可能にする。 我々は,線形評価や半教師あり学習といった標準的な自己指導型タスクを用いて,事前学習の有効性を評価する。 さらに, このモデルでは, 臨床医に患者の症状について深い洞察を与えるために, 欠落した測定をインプットする能力を示す。 我々の事前学習は, モデルのサイズと測定語彙尺度のサイズの両方において, 優れた性能を達成できることを実証する。 最後に、eICUデータセットを用いてMIMIC-IIIデータセットに基づいてトレーニングされたモデルについて、外部から検証する。 本モデルは,他の診療所へ転送可能な堅牢な臨床情報を学習できることを実証する。

関連論文リスト

• Multimodal Pretraining of Medical Time Series and Notes [45.89025874396911]
  ディープラーニングモデルは、意味のあるパターンを抽出する際の約束を示すが、広範囲なラベル付きデータが必要である。 本稿では,臨床測定値とノートのアライメントに着目し,自己指導型事前学習を用いた新しいアプローチを提案する。 病院内での死亡予測や表現型化などの下流タスクでは、データのごく一部がラベル付けされた設定において、ベースラインよりも優れています。
  論文  参考訳（メタデータ） (2023-12-11T21:53:40Z)
• Data Efficient Contrastive Learning in Histopathology using Active Sampling [0.0]
  ディープラーニングアルゴリズムは、デジタル病理学において堅牢な定量的分析を提供することができる。 これらのアルゴリズムは大量の注釈付きトレーニングデータを必要とする。 アドホックなプリテキストタスクを用いて特徴を学習するための自己教師付き手法が提案されている。 そこで本研究では,小規模なプロキシネットワークを用いたトレーニングセットから情報的メンバを積極的に抽出する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-28T18:51:22Z)
• Does Deep Learning REALLY Outperform Non-deep Machine Learning for Clinical Prediction on Physiological Time Series? [11.901347806586234]
  EHRに基づく臨床予測タスクにおいて,機械学習モデルの性能を体系的に検討する。 3つのディープラーニングメソッドと7つの非深度学習メソッドを含む10のベースライン機械学習モデルを比較した。 その結果,深層学習は非深層学習よりも優れており,一定の条件下では優れていた。
  論文  参考訳（メタデータ） (2022-11-11T07:09:49Z)
• Unsupervised pre-training of graph transformers on patient population graphs [48.02011627390706]
  異種臨床データを扱うグラフ変換器を用いたネットワークを提案する。 自己教師型, 移動学習環境において, 事前学習方式の利点を示す。
  論文  参考訳（メタデータ） (2022-07-21T16:59:09Z)
• Unsupervised Pre-Training on Patient Population Graphs for Patient-Level Predictions [48.02011627390706]
  プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。 本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。 提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
  論文  参考訳（メタデータ） (2022-03-23T17:59:45Z)
• Federated Cycling (FedCy): Semi-supervised Federated Learning of Surgical Phases [57.90226879210227]
  FedCyは、FLと自己教師付き学習を組み合わせた半教師付き学習(FSSL)手法で、ラベル付きビデオとラベルなしビデオの両方の分散データセットを利用する。 外科的段階の自動認識作業において,最先端のFSSL法よりも顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2022-03-14T17:44:53Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Learning to be a Statistician: Learned Estimator for Number of Distinct Values [54.629042119819744]
  列内の異なる値の数(NDV)を推定することは、データベースシステムにおける多くのタスクに有用である。 本研究では、ランダム(オンライン/オフライン)サンプルから正確なNDV推定を導出する方法に焦点を当てる。 教師付き学習フレームワークにおいて,NDV推定タスクを定式化し,モデルを推定対象として学習することを提案する。
  論文  参考訳（メタデータ） (2022-02-06T15:42:04Z)
• Pre-training transformer-based framework on large-scale pediatric claims data for downstream population-specific tasks [3.1580072841682734]
  本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。 効果的な知識伝達はタスク対応微調整段階を通じて完了する。 我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
  論文  参考訳（メタデータ） (2021-06-24T15:25:41Z)
• Self-Training with Improved Regularization for Sample-Efficient Chest X-Ray Classification [80.00316465793702]
  挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。 その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
  論文  参考訳（メタデータ） (2020-05-03T02:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。