論文の概要: SCEHR: Supervised Contrastive Learning for Clinical Risk Prediction
using Electronic Health Records
- arxiv url: http://arxiv.org/abs/2110.04943v1
- Date: Mon, 11 Oct 2021 00:32:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-13 09:36:10.057814
- Title: SCEHR: Supervised Contrastive Learning for Clinical Risk Prediction
using Electronic Health Records
- Title（参考訳）: SCEHR:電子カルテを用いた臨床リスク予測のためのコントラスト学習
- Authors: Chengxi Zang, Fei Wang
- Abstract要約: 我々は、縦断的電子健康記録(EHR)に基づく臨床リスク予測問題まで、教師付きコントラスト学習フレームワークを拡張した。
提案する損失関数は, 臨床リスク予測のためのベンチマークタスクにおける, 強力なベースラインの性能向上に有効であることを示す。
我々の損失関数は、既存の臨床予測モデルで採用されているクロスエントロピー損失(バイナリまたはマルチラベル)を置き換えるのに容易に利用できる。
- 参考スコア（独自算出の注目度）: 24.35874264767865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive learning has demonstrated promising performance in image and text
domains either in a self-supervised or a supervised manner. In this work, we
extend the supervised contrastive learning framework to clinical risk
prediction problems based on longitudinal electronic health records (EHR). We
propose a general supervised contrastive loss $\mathcal{L}_{\text{Contrastive
Cross Entropy} } + \lambda \mathcal{L}_{\text{Supervised Contrastive
Regularizer}}$ for learning both binary classification (e.g. in-hospital
mortality prediction) and multi-label classification (e.g. phenotyping) in a
unified framework. Our supervised contrastive loss practices the key idea of
contrastive learning, namely, pulling similar samples closer and pushing
dissimilar ones apart from each other, simultaneously by its two components:
$\mathcal{L}_{\text{Contrastive Cross Entropy} }$ tries to contrast samples
with learned anchors which represent positive and negative clusters, and
$\mathcal{L}_{\text{Supervised Contrastive Regularizer}}$ tries to contrast
samples with each other according to their supervised labels. We propose two
versions of the above supervised contrastive loss and our experiments on
real-world EHR data demonstrate that our proposed loss functions show benefits
in improving the performance of strong baselines and even state-of-the-art
models on benchmarking tasks for clinical risk predictions. Our loss functions
work well with extremely imbalanced data which are common for clinical risk
prediction problems. Our loss functions can be easily used to replace (binary
or multi-label) cross-entropy loss adopted in existing clinical predictive
models. The Pytorch code is released at
\url{https://github.com/calvin-zcx/SCEHR}.
- Abstract（参考訳）: コントラスト学習は、自己監督的または教師的方法で、画像とテキストドメインで有望なパフォーマンスを示す。
本研究では,縦断型電子健康記録(ehr)に基づく臨床リスク予測問題に対して教師付きコントラスト学習フレームワークを拡張する。
本稿では,2進分類(in-hospital death prediction)と複数ラベル分類(例: phenotyping)を統一フレームワークで学習するために,教師付きコントラスト損失$\mathcal{l}_{\text{contrastive cross entropy} } + \lambda \mathcal{l}_{\text{supervised contrastive regularizer}}$を提案する。
教師ありコントラスト損失(supervised contrastive loss)とは、比較学習の重要な考え方である、すなわち、類似したサンプルを互いに接近させ、互いに類似したサンプルをプッシュすると同時に、その2つの成分によって、それぞれを分離する、というものです。
本研究は,本研究で提案する比較対照損失の2つのバージョンを提案し,実世界のehrデータを用いた実験により,臨床リスク予測のためのベンチマークタスクにおいて,強力なベースラインおよび最先端モデルの性能向上効果を示すことを実証する。
我々の損失関数は、臨床リスク予測問題に共通する極めて不均衡なデータでうまく機能する。
我々の損失関数は、既存の臨床予測モデルで採用されているクロスエントロピー損失(バイナリまたはマルチラベル)を置き換えるのに容易に利用できる。
pytorch コードは \url{https://github.com/calvin-zcx/scehr} でリリースされる。
関連論文リスト
- Prototypical Contrastive Learning through Alignment and Uniformity for
Recommendation [6.790779112538357]
提案するアンダーライン・アライメントとアンダーライン・ユニフォーマル性によるインダーライン型コントラスト学習について述べる。
具体的には、まず、原点グラフから異なる拡張点間の整合性を確保するために、潜時空間としてプロトタイプを提案する。
明示的な負の欠如は、インスタンスとプロトタイプ間の整合性損失を直接最適化することで、次元的な崩壊の問題が容易に生じることを意味する。
論文 参考訳（メタデータ） (2024-02-03T08:19:26Z) - Tuned Contrastive Learning [77.67209954169593]
そこで本研究では,TCL(Tuned Contrastive Learning)損失という,新たなコントラスト損失関数を提案する。
TCLはバッチ内の複数の正と負に一般化し、ハードな正とハードな負の勾配応答を調整および改善するためのパラメータを提供する。
我々は、TCLを自己教師付き設定に拡張する方法を示し、それを様々なSOTA自己教師型学習手法と経験的に比較する。
論文 参考訳（メタデータ） (2023-05-18T03:26:37Z) - Hierarchical Semi-Supervised Contrastive Learning for
Contamination-Resistant Anomaly Detection [81.07346419422605]
異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。
コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。
汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-24T18:49:26Z) - Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。
そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の
総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-07-04T13:51:29Z) - Bootstrapping Semi-supervised Medical Image Segmentation with
Anatomical-aware Contrastive Distillation [10.877450596327407]
半教師型医用画像セグメンテーションのための解剖学的認識型ConTrastive dIstillatiONフレームワークであるACTIONを提案する。
まず, 正対と負対の2値監督ではなく, 負対をソフトにラベル付けして, 反復的コントラスト蒸留法を開発した。
また、サンプルデータの多様性を強制するために、ランダムに選択された負の集合から、より意味論的に類似した特徴を抽出する。
論文 参考訳（メタデータ） (2022-06-06T01:30:03Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳（メタデータ） (2021-05-16T09:13:56Z) - Bootstrapping Your Own Positive Sample: Contrastive Learning With
Electronic Health Record Data [62.29031007761901]
本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。
EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。
私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
論文 参考訳（メタデータ） (2021-04-07T06:02:04Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。
実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。
2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
論文 参考訳（メタデータ） (2020-10-26T01:44:20Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。