論文の概要: Pre-training transformer-based framework on large-scale pediatric claims data for downstream population-specific tasks

• arxiv url: http://arxiv.org/abs/2106.13095v1
• Date: Thu, 24 Jun 2021 15:25:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-25 18:15:28.811852
• Title: Pre-training transformer-based framework on large-scale pediatric claims data for downstream population-specific tasks
• Title（参考訳）: 大規模小児クレームデータに基づく下流住民特化タスクのための事前学習型トランスフォーマーベースフレームワーク
• Authors: Xianlong Zeng, Simon Lin, and Chang Liu
• Abstract要約: 本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。 効果的な知識伝達はタスク対応微調整段階を通じて完了する。 我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
• 参考スコア（独自算出の注目度）: 3.1580072841682734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The adoption of electronic health records (EHR) has become universal during the past decade, which has afforded in-depth data-based research. By learning from the large amount of healthcare data, various data-driven models have been built to predict future events for different medical tasks, such as auto diagnosis and heart-attack prediction. Although EHR is abundant, the population that satisfies specific criteria for learning population-specific tasks is scarce, making it challenging to train data-hungry deep learning models. This study presents the Claim Pre-Training (Claim-PT) framework, a generic pre-training model that first trains on the entire pediatric claims dataset, followed by a discriminative fine-tuning on each population-specific task. The semantic meaning of medical events can be captured in the pre-training stage, and the effective knowledge transfer is completed through the task-aware fine-tuning stage. The fine-tuning process requires minimal parameter modification without changing the model architecture, which mitigates the data scarcity issue and helps train the deep learning model adequately on small patient cohorts. We conducted experiments on a real-world claims dataset with more than one million patient records. Experimental results on two downstream tasks demonstrated the effectiveness of our method: our general task-agnostic pre-training framework outperformed tailored task-specific models, achieving more than 10\% higher in model performance as compared to baselines. In addition, our framework showed a great generalizability potential to transfer learned knowledge from one institution to another, paving the way for future healthcare model pre-training across institutions.
• Abstract（参考訳）: 電子健康記録(EHR)の採用は過去10年間に普遍的なものとなり、詳細なデータベースの研究が可能となった。 大量の医療データから学習することで、自動診断や心臓発作予測など、さまざまな医療タスクの将来のイベントを予測するために、さまざまなデータ駆動モデルが構築されている。 EHRは豊富だが、人口固有のタスクを学習するための特定の基準を満たす人口は少ないため、データ不足のディープラーニングモデルを訓練することは困難である。 本研究は,乳幼児クレームデータセット全体を最初にトレーニングし,次に集団別タスクの判別的微調整を行う汎用事前学習モデルであるクレーム事前学習(claim-pt)フレームワークを提案する。 トレーニング前の段階では、医療イベントの意味を捉えることができ、タスク対応の微調整段階を通じて効果的な知識伝達が完了する。 微調整プロセスでは、データ不足を軽減し、小さな患者コホート上でのディープラーニングモデルの適切なトレーニングを支援するモデルアーキテクチャを変更することなく、最小限のパラメータ修正が必要となる。 我々は100万人以上の患者記録を持つ実世界のクレームデータセットで実験を行った。 2つの下流タスクにおける実験結果から,本手法の有効性が示された。我々の一般的なタスク非依存事前学習フレームワークはタスク固有モデルよりも優れており,ベースラインと比較すると,モデル性能が10\%以上向上した。 さらに,我々のフレームワークは,学習知識をある機関から別の機関に移すための大きな一般化可能性を示し,組織間での今後の医療モデルへの道を開いた。

関連論文リスト

• An Efficient Contrastive Unimodal Pretraining Method for EHR Time Series Data [35.943089444017666]
  本稿では,長期臨床経過データに適した比較事前学習法を提案する。 本モデルでは, 臨床医が患者の症状についてより深い知見を得られるように, 欠損測定をインプットする能力を示す。
  論文  参考訳（メタデータ） (2024-10-11T19:05:25Z)
• Textual Data Augmentation for Patient Outcomes Prediction [67.72545656557858]
  本稿では,患者の電子カルテに人工的な臨床ノートを作成するための新しいデータ拡張手法を提案する。 生成言語モデルGPT-2を微調整し、ラベル付きテキストを元のトレーニングデータで合成する。 今回,最も多い患者,すなわち30日間の寛解率について検討した。
  論文  参考訳（メタデータ） (2022-11-13T01:07:23Z)
• A Comprehensive Benchmark for COVID-19 Predictive Modeling Using Electronic Health Records in Intensive Care [15.64030213048907]
  集中治療室における新型コロナウイルス患者のアウトカム特異的長期予測と早期死亡予測の2つの臨床予測課題を提案する。 この2つの課題は、新型コロナウイルス(COVID-19)患者の臨床実践に対応するため、単純で不安定な長寿と死亡予測のタスクから適応される。 我々は、公平で詳細なオープンソースのデータ前処理パイプラインを提案し、2つのタスクで17の最先端予測モデルを評価する。
  論文  参考訳（メタデータ） (2022-09-16T09:09:15Z)
• Unsupervised pre-training of graph transformers on patient population graphs [48.02011627390706]
  異種臨床データを扱うグラフ変換器を用いたネットワークを提案する。 自己教師型, 移動学習環境において, 事前学習方式の利点を示す。
  論文  参考訳（メタデータ） (2022-07-21T16:59:09Z)
• Unsupervised Pre-Training on Patient Population Graphs for Patient-Level Predictions [48.02011627390706]
  プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。 本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。 提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
  論文  参考訳（メタデータ） (2022-03-23T17:59:45Z)
• Bridging the Gap Between Patient-specific and Patient-independent Seizure Prediction via Knowledge Distillation [7.2666838978096875]
  既存のアプローチは通常、てんかんの信号の高度にパーソナライズされた特性のために、患者固有の方法でモデルを訓練する。 患者固有のモデルは、蒸留された知識と追加のパーソナライズされたデータによって得られる。 提案手法を用いて,CHB-MIT sEEGデータベース上で5つの最先端の発作予測法を訓練する。
  論文  参考訳（メタデータ） (2022-02-25T10:30:29Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Practical Challenges in Differentially-Private Federated Survival Analysis of Medical Data [57.19441629270029]
  本稿では,ニューラルネットワークの本質的特性を活用し,生存分析モデルの訓練過程を関連づける。 小さな医療データセットと少数のデータセンターの現実的な設定では、このノイズはモデルを収束させるのが難しくなります。 DPFed-post は,私的フェデレート学習方式に後処理の段階を追加する。
  論文  参考訳（メタデータ） (2022-02-08T10:03:24Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• Med-BERT: pre-trained contextualized embeddings on large-scale structured electronic health records for disease prediction [12.669003066030697]
  28,490,650人のEHRデータセットから得られた構造化診断データに基づいて,コンテキスト適応型埋め込みモデルの事前学習にBERTフレームワークを適用したMed-BERTを提案する。 Med-BERTは予測精度を大幅に改善し、受信機動作特性曲線(AUC)の領域を2.02-7.12%向上させた。 特に、事前訓練されたMed-BERTは、非常に小さな微調整の訓練セット(300-500サンプル)でタスクのパフォーマンスを大幅に改善し、AUCを20%以上、または10倍の訓練セットのAUCと同等にする。
  論文  参考訳（メタデータ） (2020-05-22T05:07:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。