論文の概要: Multimodal Pretraining of Medical Time Series and Notes

• arxiv url: http://arxiv.org/abs/2312.06855v1
• Date: Mon, 11 Dec 2023 21:53:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 18:13:43.736684
• Title: Multimodal Pretraining of Medical Time Series and Notes
• Title（参考訳）: 医療時系列のマルチモーダルプリトレーニングとノート
• Authors: Ryan King, Tianbao Yang, Bobak Mortazavi
• Abstract要約: ディープラーニングモデルは、意味のあるパターンを抽出する際の約束を示すが、広範囲なラベル付きデータが必要である。 本稿では,臨床測定値とノートのアライメントに着目し,自己指導型事前学習を用いた新しいアプローチを提案する。 病院内での死亡予測や表現型化などの下流タスクでは、データのごく一部がラベル付けされた設定において、ベースラインよりも優れています。
• 参考スコア（独自算出の注目度）: 45.89025874396911
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Within the intensive care unit (ICU), a wealth of patient data, including clinical measurements and clinical notes, is readily available. This data is a valuable resource for comprehending patient health and informing medical decisions, but it also contains many challenges in analysis. Deep learning models show promise in extracting meaningful patterns, but they require extensive labeled data, a challenge in critical care. To address this, we propose a novel approach employing self-supervised pretraining, focusing on the alignment of clinical measurements and notes. Our approach combines contrastive and masked token prediction tasks during pretraining. Semi-supervised experiments on the MIMIC-III dataset demonstrate the effectiveness of our self-supervised pretraining. In downstream tasks, including in-hospital mortality prediction and phenotyping, our pretrained model outperforms baselines in settings where only a fraction of the data is labeled, emphasizing its ability to enhance ICU data analysis. Notably, our method excels in situations where very few labels are available, as evidenced by an increase in the AUC-ROC for in-hospital mortality by 0.17 and in AUC-PR for phenotyping by 0.1 when only 1% of labels are accessible. This work advances self-supervised learning in the healthcare domain, optimizing clinical insights from abundant yet challenging ICU data.
• Abstract（参考訳）: 集中治療室(ICU)内では、臨床測定や臨床ノートを含む豊富な患者データが容易に入手できる。 このデータは、患者の健康を理解し、医療上の決定を伝える上で貴重なリソースであるが、分析の課題も数多く含まれている。 ディープラーニングモデルは有意義なパターンを抽出することには期待できるが、広範なラベル付きデータが必要である。 そこで本研究では,臨床計測とノートのアライメントに着目し,自己指導型事前学習を用いた新しいアプローチを提案する。 我々のアプローチは、事前訓練中に、コントラストとマスク付きトークン予測タスクを組み合わせる。 mimic-iiiデータセットにおける半教師付き実験は,自己教師付き事前学習の有効性を示す。 in-hospital death predictionやphenotypepingを含む下流タスクでは、トレーニング済みのモデルは、データのほんの一部しかラベル付けされていない設定でベースラインを上回っており、icuデータ分析を強化する能力を強調しています。 特に, 本手法は, 病院内死亡率0.17のauc-rocと, 1%のラベルしかアクセスできない場合の表現型化のauc-prの増加により, ラベルがほとんど使用できない状況において優れている。 この研究は、医療領域における自己教師型学習を推進し、豊富なICUデータから臨床知見を最適化する。

関連論文リスト

• An Efficient Contrastive Unimodal Pretraining Method for EHR Time Series Data [35.943089444017666]
  本稿では,長期臨床経過データに適した比較事前学習法を提案する。 本モデルでは, 臨床医が患者の症状についてより深い知見を得られるように, 欠損測定をインプットする能力を示す。
  論文  参考訳（メタデータ） (2024-10-11T19:05:25Z)
• Evaluating the Fairness of the MIMIC-IV Dataset and a Baseline Algorithm: Application to the ICU Length of Stay Prediction [65.268245109828]
  本稿では、MIMIC-IVデータセットを用いて、滞在時間を予測するXGBoostバイナリ分類モデルにおける公平性とバイアスについて検討する。 この研究は、人口統計属性にわたるデータセットのクラス不均衡を明らかにし、データ前処理と特徴抽出を採用する。 この論文は、偏見を緩和するための公正な機械学習技術と、医療専門家とデータサイエンティストの協力的な努力の必要性について結論付けている。
  論文  参考訳（メタデータ） (2023-12-31T16:01:48Z)
• FineEHR: Refine Clinical Note Representations to Improve Mortality Prediction [3.9026461169566673]
  大規模な電子健康記録は、臨床テキストとバイタルサインデータの豊富な機械学習モデルを提供する。 臨床ノート分析のための高度な自然言語処理(NLP)アルゴリズムの出現にもかかわらず、生臨床データに存在する複雑なテキスト構造とノイズは重大な課題となっている。 本稿では,2つの表現学習技術,すなわちメートル法学習と微調整技術を用いて,臨床ノートの埋め込みを洗練させるシステムFINEEHRを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:42:52Z)
• Unsupervised pre-training of graph transformers on patient population graphs [48.02011627390706]
  異種臨床データを扱うグラフ変換器を用いたネットワークを提案する。 自己教師型, 移動学習環境において, 事前学習方式の利点を示す。
  論文  参考訳（メタデータ） (2022-07-21T16:59:09Z)
• Unsupervised Pre-Training on Patient Population Graphs for Patient-Level Predictions [48.02011627390706]
  プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。 本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。 提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
  論文  参考訳（メタデータ） (2022-03-23T17:59:45Z)
• Improving Early Sepsis Prediction with Multi Modal Learning [5.129463113166068]
  臨床テキストは、敗血症の重症度を推定するために必要な情報を提供する。 Amazon Comprehend MedicalではBERTのような最先端のNLPモデルと高度に専門化されたNLPモデルを用いてテキストを表現している。 本手法は, セプシス予測のためのPhystoNet Computing in Cardiology Challengeの勝利モデルとともに, 専門医であるqSOFAが提案する臨床基準を著しく上回っている。
  論文  参考訳（メタデータ） (2021-07-23T09:25:31Z)
• Clinical Outcome Prediction from Admission Notes using Self-Supervised Knowledge Integration [55.88616573143478]
  臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。 退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。 複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
  論文  参考訳（メタデータ） (2021-02-08T10:26:44Z)
• Self-Training with Improved Regularization for Sample-Efficient Chest X-Ray Classification [80.00316465793702]
  挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。 その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
  論文  参考訳（メタデータ） (2020-05-03T02:36:00Z)
• Integrating Physiological Time Series and Clinical Notes with Deep Learning for Improved ICU Mortality Prediction [21.919977518774015]
  本研究では,生理学的時系列データと臨床記録を統合的死亡予測モデルに統合する方法について検討する。 以上の結果より, 個別のモーダルを単独で使用した場合よりも, 予測精度が統計的に有意に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-03-24T18:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。