論文の概要: Generative Medical Event Models Improve with Scale

• arxiv url: http://arxiv.org/abs/2508.12104v1
• Date: Sat, 16 Aug 2025 17:00:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.56967
• Title: Generative Medical Event Models Improve with Scale
• Title（参考訳）: ジェネレーティブな医療イベントモデルが大規模に改善
• Authors: Shane Waxler, Paul Blazek, Davis White, Daniel Sneider, Kevin Chung, Mani Nagarathnam, Patrick Williams, Hank Voeller, Karen Wong, Matthew Swanhorst, Sheng Zhang, Naoto Usuyama, Cliff Wong, Tristan Naumann, Hoifung Poon, Andrew Loza, Daniella Meeker, Seth Hain, Rahul Shah,
• Abstract要約: 医療イベントデータにおける最大のスケーリング法則について述べる。 最大10億のパラメータを持つ計算最適モデルを事前学習した。 診断予測や疾患予後,医療活動など,78の現実的課題について検討した。
• 参考スコア（独自算出の注目度）: 12.301568021321907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Realizing personalized medicine at scale calls for methods that distill insights from longitudinal patient journeys, which can be viewed as a sequence of medical events. Foundation models pretrained on large-scale medical event data represent a promising direction for scaling real-world evidence generation and generalizing to diverse downstream tasks. Using Epic Cosmos, a dataset with medical events from de-identified longitudinal health records for 16.3 billion encounters over 300 million unique patient records from 310 health systems, we introduce the Cosmos Medical Event Transformer ( CoMET) models, a family of decoder-only transformer models pretrained on 118 million patients representing 115 billion discrete medical events (151 billion tokens). We present the largest scaling-law study for medical event data, establishing a methodology for pretraining and revealing power-law scaling relationships for compute, tokens, and model size. Based on this, we pretrained a series of compute-optimal models with up to 1 billion parameters. Conditioned on a patient's real-world history, CoMET autoregressively generates the next medical event, simulating patient health timelines. We studied 78 real-world tasks, including diagnosis prediction, disease prognosis, and healthcare operations. Remarkably for a foundation model with generic pretraining and simulation-based inference, CoMET generally outperformed or matched task-specific supervised models on these tasks, without requiring task-specific fine-tuning or few-shot examples. CoMET's predictive power consistently improves as the model and pretraining scale. Our results show that CoMET, a generative medical event foundation model, can effectively capture complex clinical dynamics, providing an extensible and generalizable framework to support clinical decision-making, streamline healthcare operations, and improve patient outcomes.
• Abstract（参考訳）: パーソナライズされた医療を大規模に実現するためには、縦断的な患者旅行から洞察を抽出する手法が必要であり、これは一連の医療イベントと見なすことができる。 大規模医療イベントデータに事前訓練されたファンデーションモデルは、現実世界のエビデンス生成をスケールし、さまざまな下流タスクに一般化するための有望な方向を示す。 Epic Cosmosは,310の健康システムから3億件以上の患者記録を収集した163億回の健康記録から医療イベントを抽出したデータセットを用いて,1億1100億件の個別医療イベント(トークン数1510億件)を表す1億1800万件の患者を対象とした,デコーダのみのトランスフォーマーモデルであるCoMET(Cosmos Medical Event Transformer)モデルを紹介した。 医療イベントデータに対する最大のスケーリング法則研究を行い、計算、トークン、モデルサイズに関するパワー・ロースケーリング関係を事前学習し、明らかにするための方法論を確立する。 これに基づいて、最大10億のパラメータを持つ一連の計算最適化モデルを事前訓練した。 患者の現実世界の歴史に基づいて、CoMETは患者の健康スケジュールをシミュレートして、次の医療イベントを自動回帰的に生成する。 診断予測や疾患予後,医療活動など,78の現実的課題について検討した。 一般的な事前訓練とシミュレーションに基づく推論を備えた基礎モデルでは、CoMETはタスク固有の微調整や少数ショットの例を必要とせず、一般的にこれらのタスクにおいてタスク固有の教師付きモデルよりも優れ、あるいは一致した。 CoMETの予測能力は、モデルと事前訓練スケールとして一貫して改善される。 以上の結果から, 医療イベント基盤モデルであるCoMETは, 臨床的意思決定, 医療活動の合理化, 患者の成果の向上を支援する, 拡張性, 一般化可能な枠組みを効果的に獲得できることが示唆された。

関連論文リスト

• Zero-shot Medical Event Prediction Using a Generative Pre-trained Transformer on Electronic Health Records [8.575985305475355]
  生成事前学習型トランス (GPT) は, EHRにおける時系列データを利用して, 将来の事象を予測できる。 これらのモデルの微調整はタスク固有のパフォーマンスを高めるが、多くの臨床予測タスクに適用するとコストがかかる。 事前訓練された基礎モデルはゼロショット予測設定で使用することができ、結果ごとに微調整された個別モデルに代わるスケーラブルな代替手段を提供する。
  論文  参考訳（メタデータ） (2025-03-07T19:26:47Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Intensive Care as One Big Sequence Modeling Problem [1.6114012813668932]
  本稿では、患者と医療提供者とのインタラクションをイベントストリームとして表現する、シーケンスモデリングとしてのヘルスケアのパラダイムを提案する。 我々はMIMIC-IVデータセットから一様イベントストリームフォーマットに異種臨床記録を変換したシーケンスモデリングベンチマークMIMIC-SEQを開発した。
  論文  参考訳（メタデータ） (2024-02-27T13:36:55Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)
• Foresight -- Deep Generative Modelling of Patient Timelines using Electronic Health Records [46.024501445093755]
  医学史の時間的モデリングは、将来の出来事を予測し、シミュレートしたり、リスクを見積り、代替診断を提案したり、合併症を予測するために使用することができる。 我々は、文書テキストを構造化されたコード化された概念に変換するためにNER+Lツール(MedCAT)を使用する新しいGPT3ベースのパイプラインであるForesightを提示する。
  論文  参考訳（メタデータ） (2022-12-13T19:06:00Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)
• Pre-training transformer-based framework on large-scale pediatric claims data for downstream population-specific tasks [3.1580072841682734]
  本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。 効果的な知識伝達はタスク対応微調整段階を通じて完了する。 我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
  論文  参考訳（メタデータ） (2021-06-24T15:25:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。