論文の概要: Towards Self-Supervised Foundation Models for Critical Care Time Series

• arxiv url: http://arxiv.org/abs/2509.19885v1
• Date: Wed, 24 Sep 2025 08:34:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.740387
• Title: Towards Self-Supervised Foundation Models for Critical Care Time Series
• Title（参考訳）: ケア・タイム・シリーズにおけるセルフ・スーパーバイズド・ファンデーション・モデルに向けて
• Authors: Katja Naasunnguaq Jagd, Rachael DeVries, Ole Winther,
• Abstract要約: Bi-Axial Transformer (BAT) をベースとした危機ケアのための早期事前学習基盤モデルを提案する。 本研究では,学習源と異なるデータセット上でモデルを微調整し,効果的な伝達学習を実証する。
• 参考スコア（独自算出の注目度）: 8.594360287884095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain-specific foundation models for healthcare have expanded rapidly in recent years, yet foundation models for critical care time series remain relatively underexplored due to the limited size and availability of datasets. In this work, we introduce an early-stage pre-trained foundation model for critical care time-series based on the Bi-Axial Transformer (BAT), trained on pooled electronic health record datasets. We demonstrate effective transfer learning by fine-tuning the model on a dataset distinct from the training sources for mortality prediction, where it outperforms supervised baselines, particularly for small datasets ($<5,000$). These contributions highlight the potential of self-supervised foundation models for critical care times series to support generalizable and robust clinical applications in resource-limited settings.
• Abstract（参考訳）: 医療のためのドメイン固有基盤モデルは近年急速に拡大しているが、データセットのサイズと可用性が制限されているため、クリティカルケア時系列の基礎モデルは比較的過小評価されている。 そこで本研究では,バイ軸変換器(BAT)をベースとして,電子カルテデータセットをトレーニングした危機ケアのための早期事前学習基盤モデルを提案する。 本研究は, 教師付きベースライン, 特に小データセット($<5,000$)において, 教師付きベースラインを上回り, 死亡予測のためのトレーニングソースとは異なるデータセット上でモデルを微調整することにより, 効果的な転写学習を実証する。 これらのコントリビューションは、リソース制限設定における総合的かつ堅牢な臨床応用を支援するために、クリティカルケアタイムシリーズのための自己監督基盤モデルの可能性を強調している。

関連論文リスト

• MIRA: Medical Time Series Foundation Model for Real-World Health Data [39.55921588296102]
  医用時系列の統一基盤モデルは、アノテーションの負担を軽減し、モデルのカスタマイズを最小化し、堅牢な転送を可能にする。 医療時系列の予測に特化して設計された統合基盤モデルであるMIRAを紹介する。 MIRAは、他のゼロショットベースラインや微調整ベースラインと比較して、アウト・オブ・ディストリビューションとイン・ディストリビューションのシナリオで平均10%と7%の誤差を予測できる。
  論文  参考訳（メタデータ） (2025-06-09T09:27:17Z)
• Measuring Pre-training Data Quality without Labels for Time Series Foundation Models [10.64362760848387]
  基礎モデルで学習した表現空間の質を評価するための新しい尺度であるコントラスト精度を導入する。 実験の結果,提案手法とモデル精度との正の相関関係を下流タスクの集合上で明らかにした。
  論文  参考訳（メタデータ） (2024-12-09T10:38:30Z)
• GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
  時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。 GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-14T11:29:38Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。