論文の概要: A Nationwide Japanese Medical Claims Foundation Model: Balancing Model Scaling and Task-Specific Computational Efficiency

• arxiv url: http://arxiv.org/abs/2604.22348v1
• Date: Fri, 24 Apr 2026 08:32:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.400617
• Title: A Nationwide Japanese Medical Claims Foundation Model: Balancing Model Scaling and Task-Specific Computational Efficiency
• Title（参考訳）: 全国規模の医療クレーム基礎モデル: 分散モデルスケーリングとタスク特異的計算効率
• Authors: Nanae Aratake, Taisei Tosaki, Yuji Okamoto, Eiichiro Uchino, Masaki Nakamura, Nobutomo Matsui, Akiko Hatakama, Yasushi Okuno,
• Abstract要約: 自己監督型基礎モデルは、大規模未ラベルの医療記録を活用するための有望なアプローチとして浮上している。 自然言語処理において、スケーリング法則は、より大きなモデルが予測可能な事前学習損失を減少させることを示唆している。 構造化医療基盤モデルにおけるモデルスケールとダウンストリームタスクパフォーマンスの関係について検討した。
• 参考スコア（独自算出の注目度）: 2.107969466194361
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Clinical risk prediction using longitudinal medical data supports individualized care. Self-supervised foundation models have emerged as a promising approach for leveraging large-scale unlabeled healthcare records. In natural language processing, scaling laws suggest that larger models achieve predictably lower pretraining losses, supporting the foundation model paradigm. However, for structured medical data, characterized by a limited vocabulary and sparse observations, whether increasing model size consistently improves downstream predictions is unclear, as most studies evaluate only a single model scale. In this study, we evaluated the relationship between model scale and downstream task performance for structured medical foundation models. Using a random sample (2.3 million patients, 32 hospitals) from a nationwide 519-hospital Japanese claims database, we pretrained encoder-only Transformers at five scales (2.2M-101M parameters) for disease incidence and medication prediction. Downstream performance saturated at task-dependent thresholds: disease prediction benefited from larger models (32M-101M), whereas medication prediction saturated at 11M, reducing pretraining time by 178 h. Across all tasks, the best-performing model consistently outperformed a Light Gradient Boosting Machine baseline in the area under the precision-recall curve. These findings indicate that, unlike the monotonically decreasing pretraining loss, the optimal model size varied depending on task characteristics. This task-dependent saturation provides practical guidance for balancing predictive performance and computational cost in structured medical foundation models.
• Abstract（参考訳）: 縦断的医療データを用いた臨床リスク予測は個別医療を支援する。 自己監督型基礎モデルは、大規模未ラベルの医療記録を活用するための有望なアプローチとして浮上している。 自然言語処理において、スケーリング法則は、より大きなモデルが予測可能な事前学習損失を減らし、基礎モデルパラダイムをサポートすることを示唆している。 しかし, 限られた語彙とスパース観測を特徴とする構造化医療データでは, モデルサイズの増加が下流の予測を継続的に改善するかどうかは不明である。 本研究では,構造化医療基盤モデルにおけるモデルスケールとダウンストリームタスクパフォーマンスの関係について検討した。 全国519病院の請求データベースから無作為なサンプル(患者230万人、病院32人)を用いて, エンコーダのみのトランスフォーマーを5尺度(2.2M-101Mパラメータ)で事前訓練し, 疾患発生率と薬剤の予測を行った。 ダウンストリーム性能はタスク依存しきい値で飽和した: 疾患予測はより大きなモデル(32M-101M)の恩恵を受け、薬剤予測は11Mで飽和し、事前トレーニング時間を178時間短縮した。 すべてのタスクにおいて、最高のパフォーマンスモデルは、精度-リコール曲線の下での領域での光グラディエントブースティングマシンのベースラインを一貫して上回った。 これらの結果から,単調にトレーニング前損失を減少させるのとは異なり,最適なモデルサイズはタスク特性によって異なることが示唆された。 このタスク依存飽和は、構造化医療基盤モデルにおける予測性能と計算コストのバランスをとるための実践的なガイダンスを提供する。

関連論文リスト

• Bootstrapping-based Regularisation for Reducing Individual Prediction Instability in Clinical Risk Prediction Models [2.1127261244588156]
  本稿では,ブートストラッププロセスを直接深層ニューラルネットワークのトレーニングに組み込む,ブートストラップに基づく新たな正規化フレームワークを提案する。 このアプローチは、再サンプリングされたデータセット間の予測変数を制約し、固有の安定性特性を持つ単一のモデルを生成する。 提案手法を従来モデルとアンサンブルモデルに対して提案した正規化手法を用いて構築したモデルを評価した。
  論文  参考訳（メタデータ） (2026-02-11T20:47:30Z)
• Investigating the Impact of Histopathological Foundation Models on Regressive Prediction of Homologous Recombination Deficiency [52.50039435394964]
  回帰に基づくタスクの基礎モデルを体系的に評価する。 我々は5つの最先端基礎モデルを用いて、スライド画像全体(WSI)からパッチレベルの特徴を抽出する。 乳房、子宮内膜、肺がんコホートにまたがるこれらの抽出された特徴に基づいて、連続したRDDスコアを予測するモデルが訓練されている。
  論文  参考訳（メタデータ） (2026-01-29T14:06:50Z)
• Analysis of heart failure patient trajectories using sequence modeling [2.5101181751229915]
  Mambaアーキテクチャは、Llamaをベースとした高度なTransformer(Transformer++)で、長いコンテキスト長を扱う。 ラマは最も高い予測的差別を達成し、最高の校正を行い、全てのタスクに頑丈さを示し、その後にマンバが続く。 本稿では、入力トークン化、モデル構成、時間データ前処理のための体系的設計選択を用いた最初のアブレーション研究について述べる。
  論文  参考訳（メタデータ） (2025-11-20T22:43:25Z)
• Generative Medical Event Models Improve with Scale [11.04430289614517]
  本稿では,医療イベントデータに関する最大のスケーリング法則について述べる。 最大10億のパラメータを持つ計算最適モデルを事前学習した。 診断予測や疾患予後,医療活動など,78の現実的課題について検討した。
  論文  参考訳（メタデータ） (2025-08-16T17:00:51Z)
• MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data Augmentation [58.93221876843639]
  本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。 トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。 ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
  論文  参考訳（メタデータ） (2023-10-04T01:36:30Z)
• Clinical Deterioration Prediction in Brazilian Hospitals Based on Artificial Neural Networks and Tree Decision Models [56.93322937189087]
  超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
  論文  参考訳（メタデータ） (2022-12-17T23:29:14Z)
• Identifying and mitigating bias in algorithms used to manage patients in a pandemic [4.756860520861679]
  現実のデータセットを使用して、新型コロナウイルスの死亡率、人工呼吸器の状態、入院状態を予測するために、ロジスティック回帰モデルが作成された。 モデルではバイアス試験の回数が57%減少した。 キャリブレーション後, 予測モデルの平均感度は0.527から0.955に増加した。
  論文  参考訳（メタデータ） (2021-10-30T21:10:56Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。