論文の概要: Federated Learning of Medical Concepts Embedding using BEHRT

• arxiv url: http://arxiv.org/abs/2305.13052v1
• Date: Mon, 22 May 2023 14:05:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 15:34:52.391099
• Title: Federated Learning of Medical Concepts Embedding using BEHRT
• Title（参考訳）: BEHRTを用いた医療概念の融合学習
• Authors: Ofir Ben Shoham, Nadav Rappoport
• Abstract要約: 医療概念の埋め込み学習のための連合学習手法を提案する。 我々のアプローチは、EHRのディープニューラルネットワークモデルであるBEHRTのような埋め込みモデルに基づいている。 我々は、FLで訓練されたモデルと集中型データで訓練されたモデルのパフォーマンスを比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Electronic Health Records (EHR) data contains medical records such as diagnoses, medications, procedures, and treatments of patients. This data is often considered sensitive medical information. Therefore, the EHR data from the medical centers often cannot be shared, making it difficult to create prediction models using multi-center EHR data, which is essential for such models' robustness and generalizability. Federated Learning (FL) is an algorithmic approach that allows learning a shared model using data in multiple locations without the need to store all data in a central place. An example of a prediction model's task is to predict future diseases. More specifically, the model needs to predict patient's next visit diagnoses, based on current and previous clinical data. Such a prediction model can support care providers in making clinical decisions and even provide preventive treatment. We propose a federated learning approach for learning medical concepts embedding. This pre-trained model can be used for fine-tuning for specific downstream tasks. Our approach is based on an embedding model like BEHRT, a deep neural sequence transduction model for EHR. We train using federated learning, both the Masked Language Modeling (MLM) and the next visit downstream model. We demonstrate our approach on the MIMIC-IV dataset. We compare the performance of a model trained with FL against a model trained on centralized data. We find that our federated learning approach reaches very close to the performance of a centralized model, and it outperforms local models in terms of average precision. We also show that pre-trained MLM improves the model's average precision performance in the next visit prediction task, compared to an MLM model without pre-training. Our code is available at https://github.com/nadavlab/FederatedBEHRT.
• Abstract（参考訳）: 電子健康記録(ehr)データは、患者の診断、医薬品、処置、治療などの医療記録を含んでいる。 このデータは敏感な医療情報と見なされることが多い。 したがって、医療センターからのEHRデータは共有できないことが多く、そのようなモデルの堅牢性と一般化性に不可欠なマルチセンターEHRデータを用いて予測モデルを作成することは困難である。 フェデレートラーニング(FL)は、すべてのデータを中央に格納することなく、複数の場所でデータを使用して共有モデルを学習するアルゴリズム的なアプローチである。 予測モデルの例は、将来の病気を予測することである。 より具体的には、このモデルは、現在および過去の臨床データに基づいて、患者の次の訪問診断を予測する必要がある。 このような予測モデルは、医療提供者が臨床決定を行うのを支援し、予防的治療を提供することもできる。 医療概念の埋め込み学習のための連合学習手法を提案する。 この事前訓練されたモデルは、特定の下流タスクの微調整に使用できる。 我々のアプローチは、EHRのためのディープニューラルネットワークトランスダクションモデルであるBEHRTのような埋め込みモデルに基づいている。 私たちは、MLM(Masked Language Modeling)と下流モデルの両方を使って、フェデレートラーニングを訓練します。 我々はMIMIC-IVデータセットにアプローチを示す。 FLでトレーニングしたモデルと集中型データでトレーニングしたモデルのパフォーマンスを比較した。 フェデレーション学習のアプローチは,集中型モデルのパフォーマンスに非常に近く,平均精度ではローカルモデルよりも優れています。 また,事前学習を行わないmlmモデルと比較して,次の訪問予測タスクにおけるモデルの平均精度が向上することを示した。 私たちのコードはhttps://github.com/nadavlab/FederatedBEHRT.comで利用可能です。

関連論文リスト

• Extracting Training Data from Unconditional Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(AI)の主流モデルとして採用されている。 本研究の目的は,1) 理論解析のための記憶量,2) 情報ラベルとランダムラベルを用いた条件記憶量,3) 記憶量測定のための2つのより良い評価指標を用いて,DPMにおける記憶量の理論的理解を確立することである。 提案手法は,理論解析に基づいて,SIDE (textbfSurrogate condItional Data extract) と呼ばれる新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:20:12Z)
• MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data Augmentation [58.93221876843639]
  本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。 トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。 ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
  論文  参考訳（メタデータ） (2023-10-04T01:36:30Z)
• EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models [6.506937003687058]
  スタンフォード大学の6,739人の患者の電子健康記録(EHRs)から構造化されたデータを含む新しいデータセット EHRSHOT を公表した。 第2に,257万症例のERHデータに基づいて事前訓練した141Mパラメータ臨床基盤モデルであるCLMBR-T-baseの重みを公表した。 第3に、15の臨床的予測タスクを定義し、サンプル効率やタスク適応などの利点に基づく基礎モデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-07-05T05:24:59Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Unsupervised Pre-Training on Patient Population Graphs for Patient-Level Predictions [48.02011627390706]
  プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。 本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。 提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
  論文  参考訳（メタデータ） (2022-03-23T17:59:45Z)
• Multi-task fusion for improving mammography screening data classification [3.7683182861690843]
  まず、個別のタスク固有のモデルのセットをトレーニングするパイプラインアプローチを提案する。 次に、標準モデルの集合戦略とは対照的に、その融合について検討する。 我々の融合アプローチは、標準モデルのアンサンブルに比べてAUCのスコアを最大0.04向上させる。
  論文  参考訳（メタデータ） (2021-12-01T13:56:27Z)
• Pre-training transformer-based framework on large-scale pediatric claims data for downstream population-specific tasks [3.1580072841682734]
  本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。 効果的な知識伝達はタスク対応微調整段階を通じて完了する。 我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
  論文  参考訳（メタデータ） (2021-06-24T15:25:41Z)
• EventScore: An Automated Real-time Early Warning Score for Clinical Events [3.3039612529376625]
  臨床劣化を示す各種臨床事象の早期予測のための解釈可能なモデルを構築した。 このモデルは2つのデータセットと4つの臨床イベントで評価される。 私達のモデルは手動で記録された特徴を要求しないで完全に自動化することができます。
  論文  参考訳（メタデータ） (2021-02-11T11:55:08Z)
• Self-Training with Improved Regularization for Sample-Efficient Chest X-Ray Classification [80.00316465793702]
  挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。 その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
  論文  参考訳（メタデータ） (2020-05-03T02:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。