論文の概要: Generative Medical Event Models Improve with Scale

• arxiv url: http://arxiv.org/abs/2508.12104v3
• Date: Fri, 07 Nov 2025 23:40:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 19:11:14.282395
• Title: Generative Medical Event Models Improve with Scale
• Title（参考訳）: ジェネレーティブな医療イベントモデルが大規模に改善
• Abstract要約: 本稿では,医療イベントデータに関する最大のスケーリング法則について述べる。 最大10億のパラメータを持つ計算最適モデルを事前学習した。 診断予測や疾患予後,医療活動など,78の現実的課題について検討した。
• 参考スコア（独自算出の注目度）: 11.04430289614517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Realizing personalized medicine at scale calls for methods that distill insights from longitudinal patient journeys, which can be viewed as a sequence of medical events. Foundation models pretrained on large-scale medical event data represent a promising direction for scaling real-world evidence generation and generalizing to diverse downstream tasks. Using Epic Cosmos, a dataset with medical events from de-identified longitudinal health records for 16.3 billion encounters over 300 million unique patient records from 310 health systems, we introduce the Curiosity models, a family of decoder-only transformer models pretrained on 118 million patients representing 115 billion discrete medical events (151 billion tokens). We present the largest scaling-law study of medical event data, establishing a methodology for pretraining and revealing power-law scaling relationships for compute, tokens, and model size. Consequently, we pretrained a series of compute-optimal models with up to 1 billion parameters. Conditioned on a patient's real-world history, Curiosity autoregressively predicts the next medical event to simulate patient health timelines. We studied 78 real-world tasks, including diagnosis prediction, disease prognosis, and healthcare operations. Remarkably for a foundation model with generic pretraining and simulation-based inference, Curiosity generally outperformed or matched task-specific supervised models on these tasks, without requiring task-specific fine-tuning or few-shot examples. Curiosity's predictive power consistently improves as the model and pretraining scale. Our results show that Curiosity, a generative medical event foundation model, can effectively capture complex clinical dynamics, providing an extensible and generalizable framework to support clinical decision-making, streamline healthcare operations, and improve patient outcomes.
• Abstract（参考訳）: パーソナライズされた医療を大規模に実現するためには、縦断的な患者旅行から洞察を抽出する手法が必要であり、これは一連の医療イベントと見なすことができる。 大規模医療イベントデータに事前訓練されたファンデーションモデルは、現実世界のエビデンス生成をスケールし、さまざまな下流タスクに一般化するための有望な方向を示す。 Epic Cosmosは、1億1100万の個別の医療イベント(トークン1510億個)を表す1億1800万の患者に事前訓練されたデコーダのみのトランスフォーマーモデルであるCuriosityモデルを紹介します。 医療イベントデータに関する最大のスケーリング法則研究を行い、計算、トークン、モデルサイズに対するパワー法則スケーリング関係を事前学習し、明らかにするための方法論を確立する。 その結果,最大10億個のパラメータを持つ計算最適モデルを事前学習した。 患者の現実世界の歴史に基づいて、Curiosityは患者の健康スケジュールをシミュレートするために、次の医療イベントを自動回帰予測する。 診断予測や疾患予後,医療活動など,78の現実的課題について検討した。 一般的な事前学習とシミュレーションに基づく推論を備えた基礎モデルでは、Curiosityはタスク固有の微調整や少数ショットの例を必要とせず、一般的にこれらのタスクにおいて、タスク固有の教師付きモデルよりも優れ、あるいは一致した。 好奇心の予測力は、モデルと事前学習スケールとして一貫して改善される。 以上の結果から,クリニカルイベント基盤モデルであるCuriosityは,臨床的意思決定を支援するための拡張性,一般化可能なフレームワークを提供し,医療活動の合理化と患者の成果の向上を図っている。

関連論文リスト

• NOAH: Learning the Full Patient Journey. A Longitudinal Multimodal Time-Aware Model for Representation and Forecasting [15.183085955033148]
  患者の全旅行を表現・予測する,時間的,タスクに依存しない,生成的トランスフォーマーモデルであるNOAHを紹介する。 NOAHは、医療画像、時系列および数値信号、分類的事象、および構造化され、構造化されていない臨床記録を処理する。 臨床結果の探索において高いパフォーマンスを示す、高情報かつ予測可能な患者の状態表現を生成する。
  論文  参考訳（メタデータ） (2026-09-08T17:56:13Z)
• Simulating clinical interventions with a generative multimodal model of human physiology [49.828582089394445]
  HealthFormerは、人間の生理的軌道を生成的にモデル化するデコーダのみのトランスフォーマーである。 7つの領域にまたがる667個の測定値に対して,各被験者の健康軌道をトークン化する。 HealthFormerは、30のインシデント障害および死亡エンドポイントのうち27の予測を改善し、各比較で確立された臨床リスクスコアを超えた。
  論文  参考訳（メタデータ） (2026-04-30T14:10:30Z)
• A multimodal and temporal foundation model for virtual patient representations at healthcare system scale [36.24986458898116]
  我々は,30年以上にわたる長期入院記録をトレーニングし,評価したマルチモーダル時間基盤モデルであるApolloを紹介した。 Apollo は,臨床用語に 1 万以上のユニークな医療イベントを統合する統一表現空間を学習している。 モデル予測は, 臨床的に解釈可能なマルチモーダルバイオマーカーと一致している。
  論文  参考訳（メタデータ） (2026-04-20T17:55:47Z)
• Zero-shot Medical Event Prediction Using a Generative Pre-trained Transformer on Electronic Health Records [8.575985305475355]
  生成事前学習型トランス (GPT) は, EHRにおける時系列データを利用して, 将来の事象を予測できる。 これらのモデルの微調整はタスク固有のパフォーマンスを高めるが、多くの臨床予測タスクに適用するとコストがかかる。 事前訓練された基礎モデルはゼロショット予測設定で使用することができ、結果ごとに微調整された個別モデルに代わるスケーラブルな代替手段を提供する。
  論文  参考訳（メタデータ） (2025-03-07T19:26:47Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Intensive Care as One Big Sequence Modeling Problem [1.6114012813668932]
  本稿では、患者と医療提供者とのインタラクションをイベントストリームとして表現する、シーケンスモデリングとしてのヘルスケアのパラダイムを提案する。 我々はMIMIC-IVデータセットから一様イベントストリームフォーマットに異種臨床記録を変換したシーケンスモデリングベンチマークMIMIC-SEQを開発した。
  論文  参考訳（メタデータ） (2024-02-27T13:36:55Z)
• Recent Advances in Predictive Modeling with Electronic Health Records [71.19967863320647]
  EHRデータを予測モデリングに利用すると、その特徴からいくつかの課題が生じる。 深層学習は、医療を含む様々な応用においてその優位性を示している。
  論文  参考訳（メタデータ） (2024-02-02T00:31:01Z)
• MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data Augmentation [58.93221876843639]
  本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。 トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。 ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
  論文  参考訳（メタデータ） (2023-10-04T01:36:30Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)
• Foresight -- Deep Generative Modelling of Patient Timelines using Electronic Health Records [46.024501445093755]
  医学史の時間的モデリングは、将来の出来事を予測し、シミュレートしたり、リスクを見積り、代替診断を提案したり、合併症を予測するために使用することができる。 我々は、文書テキストを構造化されたコード化された概念に変換するためにNER+Lツール(MedCAT)を使用する新しいGPT3ベースのパイプラインであるForesightを提示する。
  論文  参考訳（メタデータ） (2022-12-13T19:06:00Z)
• MedML: Fusing Medical Knowledge and Machine Learning Models for Early Pediatric COVID-19 Hospitalization and Severity Prediction [27.352097332678213]
  我々は、新しい機械学習モデルであるMedMLを用いて、全国的な小児新型コロナウイルスデータ問題に対処する。 MedMLは600万以上の医療概念から、医療知識と妥当性スコアに基づいて最も予測可能な特徴を抽出する。 入院予測タスクは143,605名,重症度予測タスクは11,465名,重症度予測タスクは143,605名であった。
  論文  参考訳（メタデータ） (2022-07-25T15:56:14Z)
• Practical Challenges in Differentially-Private Federated Survival Analysis of Medical Data [57.19441629270029]
  本稿では,ニューラルネットワークの本質的特性を活用し,生存分析モデルの訓練過程を関連づける。 小さな医療データセットと少数のデータセンターの現実的な設定では、このノイズはモデルを収束させるのが難しくなります。 DPFed-post は,私的フェデレート学習方式に後処理の段階を追加する。
  論文  参考訳（メタデータ） (2022-02-08T10:03:24Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)
• MedGPT: Medical Concept Prediction from Clinical Narratives [0.23488056916440858]
  患者の医療履歴の時間的モデリングは、将来の出来事を予測するのに使用できる。 名前付きエンティティ認識とリンクツールを用いたトランスフォーマーベースのパイプラインであるMedGPTを提案する。 本モデルでは, 医療用多選択肢質問応答タスクを用いて, 医療知識を抽出し, 評価を行った。
  論文  参考訳（メタデータ） (2021-07-07T10:36:28Z)
• Pre-training transformer-based framework on large-scale pediatric claims data for downstream population-specific tasks [3.1580072841682734]
  本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。 効果的な知識伝達はタスク対応微調整段階を通じて完了する。 我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
  論文  参考訳（メタデータ） (2021-06-24T15:25:41Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。