論文の概要: Unsupervised pre-training of graph transformers on patient population graphs

• arxiv url: http://arxiv.org/abs/2207.10603v2
• Date: Mon, 17 Jul 2023 10:00:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 00:37:59.417034
• Title: Unsupervised pre-training of graph transformers on patient population graphs
• Title（参考訳）: 患者集団グラフにおけるグラフトランスの教師なし事前学習
• Authors: Chantal Pellegrini, Nassir Navab, Anees Kazi
• Abstract要約: 異種臨床データを扱うグラフ変換器を用いたネットワークを提案する。 自己教師型, 移動学習環境において, 事前学習方式の利点を示す。
• 参考スコア（独自算出の注目度）: 48.02011627390706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-training has shown success in different areas of machine learning, such as Computer Vision, Natural Language Processing (NLP), and medical imaging. However, it has not been fully explored for clinical data analysis. An immense amount of clinical records are recorded, but still, data and labels can be scarce for data collected in small hospitals or dealing with rare diseases. In such scenarios, pre-training on a larger set of unlabelled clinical data could improve performance. In this paper, we propose novel unsupervised pre-training techniques designed for heterogeneous, multi-modal clinical data for patient outcome prediction inspired by masked language modeling (MLM), by leveraging graph deep learning over population graphs. To this end, we further propose a graph-transformer-based network, designed to handle heterogeneous clinical data. By combining masking-based pre-training with a transformer-based network, we translate the success of masking-based pre-training in other domains to heterogeneous clinical data. We show the benefit of our pre-training method in a self-supervised and a transfer learning setting, utilizing three medical datasets TADPOLE, MIMIC-III, and a Sepsis Prediction Dataset. We find that our proposed pre-training methods help in modeling the data at a patient and population level and improve performance in different fine-tuning tasks on all datasets.
• Abstract（参考訳）: 事前トレーニングは、コンピュータビジョン、自然言語処理(nlp)、医療画像など、さまざまな分野の機械学習で成功を収めている。 しかし, 臨床データ解析では十分に研究されていない。 膨大な量の臨床記録が記録されているが、小さな病院で収集されたデータや稀な疾患を扱うデータやラベルは少ない。 このようなシナリオでは、より大規模な臨床データの事前トレーニングにより、パフォーマンスが向上する可能性がある。 本稿では,集団グラフ上でのグラフ深層学習を生かして,マスク言語モデリング(MLM)に触発された患者結果予測のための,異種多モード臨床データを対象とした教師なし事前学習手法を提案する。 そこで本研究では,異種臨床データを扱うグラフトランスフォーマベースのネットワークを提案する。 マスキングベースプリトレーニングとトランスベースネットワークを組み合わせることで,マスキングベースのプリトレーニングが他の領域での成功を,異種臨床データに翻訳する。 3つの医学データセットであるTADPOLE, MIMIC-III, セプシス予測データセットを用いて, 自己教師型および移動学習環境における事前学習手法の利点を示す。 提案手法は,患者および人口レベルでのデータをモデル化し,すべてのデータセットにおける異なる微調整タスクの性能を向上させるのに役立つ。

関連論文リスト

• An Efficient Contrastive Unimodal Pretraining Method for EHR Time Series Data [35.943089444017666]
  本稿では,長期臨床経過データに適した比較事前学習法を提案する。 本モデルでは, 臨床医が患者の症状についてより深い知見を得られるように, 欠損測定をインプットする能力を示す。
  論文  参考訳（メタデータ） (2024-10-11T19:05:25Z)
• Multimodal Pretraining of Medical Time Series and Notes [45.89025874396911]
  ディープラーニングモデルは、意味のあるパターンを抽出する際の約束を示すが、広範囲なラベル付きデータが必要である。 本稿では,臨床測定値とノートのアライメントに着目し,自己指導型事前学習を用いた新しいアプローチを提案する。 病院内での死亡予測や表現型化などの下流タスクでは、データのごく一部がラベル付けされた設定において、ベースラインよりも優れています。
  論文  参考訳（メタデータ） (2023-12-11T21:53:40Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Unsupervised Pre-Training on Patient Population Graphs for Patient-Level Predictions [48.02011627390706]
  プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。 本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。 提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
  論文  参考訳（メタデータ） (2022-03-23T17:59:45Z)
• A Real Use Case of Semi-Supervised Learning for Mammogram Classification in a Local Clinic of Costa Rica [0.5541644538483946]
  ディープラーニングモデルのトレーニングには、かなりの量のラベル付きイメージが必要です。 多くの公開データセットが、さまざまな病院や診療所のデータで構築されている。 ラベルなしデータを利用した半教師付き深層学習手法であるMixMatchを提案し評価した。
  論文  参考訳（メタデータ） (2021-07-24T22:26:50Z)
• Pre-training transformer-based framework on large-scale pediatric claims data for downstream population-specific tasks [3.1580072841682734]
  本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。 効果的な知識伝達はタスク対応微調整段階を通じて完了する。 我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
  論文  参考訳（メタデータ） (2021-06-24T15:25:41Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。