論文の概要: Unsupervised Pre-Training on Patient Population Graphs for Patient-Level Predictions

• arxiv url: http://arxiv.org/abs/2203.12616v1
• Date: Wed, 23 Mar 2022 17:59:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-24 16:35:41.764835
• Title: Unsupervised Pre-Training on Patient Population Graphs for Patient-Level Predictions
• Title（参考訳）: 患者レベル予測のための患者人口グラフの教師なし事前学習
• Authors: Chantal Pellegrini, Anees Kazi, Nassir Navab
• Abstract要約: プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。 本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。 提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
• 参考スコア（独自算出の注目度）: 48.02011627390706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-training has shown success in different areas of machine learning, such as Computer Vision (CV), Natural Language Processing (NLP) and medical imaging. However, it has not been fully explored for clinical data analysis. Even though an immense amount of Electronic Health Record (EHR) data is recorded, data and labels can be scarce if the data is collected in small hospitals or deals with rare diseases. In such scenarios, pre-training on a larger set of EHR data could improve the model performance. In this paper, we apply unsupervised pre-training to heterogeneous, multi-modal EHR data for patient outcome prediction. To model this data, we leverage graph deep learning over population graphs. We first design a network architecture based on graph transformer designed to handle various input feature types occurring in EHR data, like continuous, discrete, and time-series features, allowing better multi-modal data fusion. Further, we design pre-training methods based on masked imputation to pre-train our network before fine-tuning on different end tasks. Pre-training is done in a fully unsupervised fashion, which lays the groundwork for pre-training on large public datasets with different tasks and similar modalities in the future. We test our method on two medical datasets of patient records, TADPOLE and MIMIC-III, including imaging and non-imaging features and different prediction tasks. We find that our proposed graph based pre-training method helps in modeling the data at a population level and further improves performance on the fine tuning tasks in terms of AUC on average by 4.15% for MIMIC and 7.64% for TADPOLE.
• Abstract（参考訳）: 事前トレーニングは、コンピュータビジョン(cv)、自然言語処理(nlp)、医療画像など、さまざまな機械学習分野で成功を収めている。 しかし, 臨床データ解析では十分に研究されていない。 膨大な量の電子健康記録(EHR)データが記録されているが、小さな病院で収集されたり、稀な疾患を扱う場合、データやラベルは乏しい。 このようなシナリオでは、より大きなEHRデータの事前トレーニングにより、モデルのパフォーマンスが向上する可能性がある。 本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。 このデータをモデル化するために、人口グラフよりもグラフ深層学習を利用する。 まず、連続、離散、時系列といったEHRデータに発生する様々な入力特徴タイプを扱うように設計されたグラフトランスフォーマーに基づくネットワークアーキテクチャを設計し、マルチモーダルデータ融合を向上する。 さらに,異なるエンドタスクを微調整する前にネットワークを事前学習するために,マスクインプテーションに基づく事前学習手法を設計する。 事前トレーニングは完全に教師なしの方法で行われ、異なるタスクと将来における類似のモダリティを持つ大規模な公開データセットを事前トレーニングするための基礎となる。 本手法は,TADPOLEとMIMIC-IIIという2つの患者記録の医療データセットを用いて,画像と非画像の特徴と異なる予測タスクを含む実験を行った。 提案手法は,人口レベルでのデータモデリングに有効であり,MIMICでは平均4.15%,TADPOLEでは7.64%の微調整タスクの性能向上を図っている。

関連論文リスト

• MPLite: Multi-Aspect Pretraining for Mining Clinical Health Records [13.4100093553808]
  本稿では,医療概念の表現性を高めるために,軽量ニューラルネットワークを用いたマルチアスペクトプレトレーニングとラボの結果を利用する新しいフレームワークMPLiteを提案する。 我々は、実験結果に基づいて医療コードを予測し、特徴の複数の側面を融合させることで堅牢な予測を保証する事前学習モジュールを設計する。
  論文  参考訳（メタデータ） (2024-11-17T19:43:10Z)
• Recent Advances in Predictive Modeling with Electronic Health Records [71.19967863320647]
  EHRデータを予測モデリングに利用すると、その特徴からいくつかの課題が生じる。 深層学習は、医療を含む様々な応用においてその優位性を示している。
  論文  参考訳（メタデータ） (2024-02-02T00:31:01Z)
• MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data Augmentation [58.93221876843639]
  本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。 トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。 ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
  論文  参考訳（メタデータ） (2023-10-04T01:36:30Z)
• Federated Learning of Medical Concepts Embedding using BEHRT [0.0]
  医療概念の埋め込み学習のための連合学習手法を提案する。 我々のアプローチは、EHRのディープニューラルネットワークモデルであるBEHRTのような埋め込みモデルに基づいている。 我々は、FLで訓練されたモデルと集中型データで訓練されたモデルのパフォーマンスを比較した。
  論文  参考訳（メタデータ） (2023-05-22T14:05:39Z)
• Textual Data Augmentation for Patient Outcomes Prediction [67.72545656557858]
  本稿では,患者の電子カルテに人工的な臨床ノートを作成するための新しいデータ拡張手法を提案する。 生成言語モデルGPT-2を微調整し、ラベル付きテキストを元のトレーニングデータで合成する。 今回,最も多い患者,すなわち30日間の寛解率について検討した。
  論文  参考訳（メタデータ） (2022-11-13T01:07:23Z)
• Unsupervised pre-training of graph transformers on patient population graphs [48.02011627390706]
  異種臨床データを扱うグラフ変換器を用いたネットワークを提案する。 自己教師型, 移動学習環境において, 事前学習方式の利点を示す。
  論文  参考訳（メタデータ） (2022-07-21T16:59:09Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)
• Pre-training transformer-based framework on large-scale pediatric claims data for downstream population-specific tasks [3.1580072841682734]
  本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。 効果的な知識伝達はタスク対応微調整段階を通じて完了する。 我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
  論文  参考訳（メタデータ） (2021-06-24T15:25:41Z)
• Self-Supervised Graph Learning with Hyperbolic Embedding for Temporal Health Event Prediction [13.24834156675212]
  本稿では,情報フローを組み込んだハイパーボリック埋め込み手法を提案する。 我々は、これらの事前学習された表現をグラフニューラルネットワークに組み込んで、疾患の合併症を検出する。 本稿では,EHRデータを完全に活用する自己教師付き学習フレームワークに,階層型で強化された履歴予測代行タスクを提案する。
  論文  参考訳（メタデータ） (2021-06-09T00:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。