論文の概要: Self-Supervised Time-to-Event Modeling with Structured Medical Records
- arxiv url: http://arxiv.org/abs/2301.03150v1
- Date: Mon, 9 Jan 2023 02:42:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 17:35:41.709221
- Title: Self-Supervised Time-to-Event Modeling with Structured Medical Records
- Title(参考訳): 構造化医療記録を用いた自己教師付き時間-イベントモデリング
- Authors: Ethan Steinberg, Yizhe Xu, Jason Fries, Nigam Shah
- Abstract要約: 生存時間モデル(英: time-to-event model)は、特定の事象が起こるまでの確率分布を推定するために医学やその他の分野で用いられる。
長期間の地平線を持つイベントに共通する高い検閲レートは、利用可能なトレーニングデータをさらに制限し、過度な適合のリスクを悪化させる。
我々は,大規模なタイムスタンプの収集で見られる時間構造を利用した自己教師型モデルを構築した。
- 参考スコア(独自算出の注目度): 3.301741845583689
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time-to-event models (also known as survival models) are used in medicine and
other fields for estimating the probability distribution of the time until a
particular event occurs. While providing many advantages over traditional
classification models, such as naturally handling censoring, time-to-event
models require more parameters and are challenging to learn in settings with
limited labeled training data. High censoring rates, common in events with long
time horizons, further limit available training data and exacerbate the risk of
overfitting. Existing methods, such as proportional hazard or accelerated
failure time-based approaches, employ distributional assumptions to reduce
parameter size, but they are vulnerable to model misspecification. In this
work, we address these challenges with MOTOR, a self-supervised model that
leverages temporal structure found in large-scale collections of timestamped,
but largely unlabeled events, typical of electronic health record data. MOTOR
defines a time-to-event pretraining task that naturally captures the
probability distribution of event times, making it well-suited to applications
in medicine. After pretraining on 8,192 tasks auto-generated from 2.7M patients
(2.4B clinical events), we evaluate the performance of our pretrained model
after fine-tuning to unseen time-to-event tasks. MOTOR-derived models improve
upon current state-of-the-art C statistic performance by 6.6% and decrease
training time (in wall time) by up to 8.2 times. We further improve sample
efficiency, with adapted models matching current state-of-the-art performance
using 95% less training data.
- Abstract(参考訳): 生存時間モデル(英: time-to-event model)は、特定の事象が起こるまでの確率分布を推定するために医学やその他の分野で用いられる。
検閲を自然に扱うような従来の分類モデルに対して多くの利点を提供する一方で、時間とイベントのモデルにはより多くのパラメータが必要であり、ラベル付きトレーニングデータで学習することは困難である。
長期間の地平線を持つイベントに共通する高い検閲レートは、利用可能なトレーニングデータをさらに制限し、過度な適合のリスクを悪化させる。
比例ハザードやフェールタイムベースアプローチの高速化といった既存の手法では、パラメータサイズを減らすために分散仮定を採用しているが、モデルの誤特定に対して脆弱である。
本研究では,電子カルテデータに代表される,タイムスタンプ付きだがラベル付きイベントの大規模コレクションに見られる時間構造を活用した自己教師付きモデルである motor を用いて,これらの課題に対処する。
motorは、イベント時間の確率分布を自然に捉え、医学の応用に適しているイベント前トレーニングタスクを定義している。
2.7m患者から自動生成した8,192タスク(臨床イベント2.4b)を事前トレーニングした後,未発見のタスクを微調整した後,プリトレーニングモデルの性能を評価する。
MOTOR由来のモデルは現在の最先端のC統計性能を6.6%改善し、トレーニング時間を最大8.2倍に短縮する。
95%のトレーニングデータを用いて,現在の最先端のパフォーマンスに適合する適応モデルを用いて,サンプル効率をさらに向上させる。
関連論文リスト
- Chronos: Learning the Language of Time Series [79.45082787390962]
Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。
クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
論文 参考訳(メタデータ) (2024-03-12T16:53:54Z) - Task-customized Masked AutoEncoder via Mixture of Cluster-conditional
Experts [104.9871176044644]
Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。
我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。
MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
論文 参考訳(メタデータ) (2024-02-08T03:46:32Z) - A Multi-Center Study on the Adaptability of a Shared Foundation Model
for Electronic Health Records [2.934375503962282]
ファンデーションモデルは、下流の医療タスクに容易に適応可能なモジュラーコンポーネントを提供することで、医療におけるAI転換を約束している。
本研究は,257万人のスタンフォード医科患者の縦断的医療記録データに基づいてトレーニングしたEMHファンデーションモデル(FM_SM$)の適応性について検討した。
本研究は, 病院間での共用EHR基盤モデルの適用により, より低コストで予測性能が向上することが示唆された。
論文 参考訳(メタデータ) (2023-11-20T01:58:27Z) - MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data
Augmentation [58.93221876843639]
本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。
トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。
ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
論文 参考訳(メタデータ) (2023-10-04T01:36:30Z) - Forecasting Emergency Department Crowding with Advanced Machine Learning
Models and Multivariable Input [8.294560133196807]
救急部門(ED)の混雑は患者の安全にとって重大な脅威であり、死亡率の上昇と繰り返し関連付けられている。
1)高度な機械学習モデル(ML)の急激な流入により予測モデルが時代遅れになったこと,2)多変量入力データが制限されたこと,3)個別のパフォーマンス指標が報告されることは稀である。
我々は、N-BEATSとLightGBMがそれぞれ11%と9%の改善率でベンチマークを上回り、DeepARは翌日のAUCが0.76(95 % CI 0.69-0.84)になると予測していることを示す。
論文 参考訳(メタデータ) (2023-08-31T08:34:20Z) - EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models [6.506937003687058]
スタンフォード大学の6,739人の患者の電子健康記録(EHRs)から構造化されたデータを含む新しいデータセット EHRSHOT を公表した。
第2に,257万症例のERHデータに基づいて事前訓練した141Mパラメータ臨床基盤モデルであるCLMBR-T-baseの重みを公表した。
第3に、15の臨床的予測タスクを定義し、サンプル効率やタスク適応などの利点に基づく基礎モデルの評価を可能にする。
論文 参考訳(メタデータ) (2023-07-05T05:24:59Z) - Federated Learning of Medical Concepts Embedding using BEHRT [0.0]
医療概念の埋め込み学習のための連合学習手法を提案する。
我々のアプローチは、EHRのディープニューラルネットワークモデルであるBEHRTのような埋め込みモデルに基づいている。
我々は、FLで訓練されたモデルと集中型データで訓練されたモデルのパフォーマンスを比較した。
論文 参考訳(メタデータ) (2023-05-22T14:05:39Z) - Unsupervised Pre-Training on Patient Population Graphs for Patient-Level
Predictions [48.02011627390706]
プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。
本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。
提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
論文 参考訳(メタデータ) (2022-03-23T17:59:45Z) - SANSformers: Self-Supervised Forecasting in Electronic Health Records
with Attention-Free Models [48.07469930813923]
本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。
SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。
本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
論文 参考訳(メタデータ) (2021-08-31T08:23:56Z) - Pre-training transformer-based framework on large-scale pediatric claims
data for downstream population-specific tasks [3.1580072841682734]
本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。
効果的な知識伝達はタスク対応微調整段階を通じて完了する。
我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
論文 参考訳(メタデータ) (2021-06-24T15:25:41Z) - FMA-ETA: Estimating Travel Time Entirely Based on FFN With Attention [88.33372574562824]
フィードフォワードネットワーク(FFN, FFN, 複数要素自己認識(FMA-ETA)に基づく新しいフレームワークを提案する。
異なるカテゴリの特徴に対処し,情報を意図的に集約する,新しい多要素自己認識機構を提案する。
実験の結果、FMA-ETAは予測精度において最先端の手法と競合し、推論速度は大幅に向上した。
論文 参考訳(メタデータ) (2020-06-07T08:10:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。