論文の概要: Towards Self-Supervised Foundation Models for Critical Care Time Series

• arxiv url: http://arxiv.org/abs/2509.19885v1
• Date: Wed, 24 Sep 2025 08:34:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.740387
• Title: Towards Self-Supervised Foundation Models for Critical Care Time Series
• Title（参考訳）: ケア・タイム・シリーズにおけるセルフ・スーパーバイズド・ファンデーション・モデルに向けて
• Authors: Katja Naasunnguaq Jagd, Rachael DeVries, Ole Winther,
• Abstract要約: Bi-Axial Transformer (BAT) をベースとした危機ケアのための早期事前学習基盤モデルを提案する。 本研究では,学習源と異なるデータセット上でモデルを微調整し,効果的な伝達学習を実証する。
• 参考スコア（独自算出の注目度）: 8.594360287884095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain-specific foundation models for healthcare have expanded rapidly in recent years, yet foundation models for critical care time series remain relatively underexplored due to the limited size and availability of datasets. In this work, we introduce an early-stage pre-trained foundation model for critical care time-series based on the Bi-Axial Transformer (BAT), trained on pooled electronic health record datasets. We demonstrate effective transfer learning by fine-tuning the model on a dataset distinct from the training sources for mortality prediction, where it outperforms supervised baselines, particularly for small datasets ($<5,000$). These contributions highlight the potential of self-supervised foundation models for critical care times series to support generalizable and robust clinical applications in resource-limited settings.
• Abstract（参考訳）: 医療のためのドメイン固有基盤モデルは近年急速に拡大しているが、データセットのサイズと可用性が制限されているため、クリティカルケア時系列の基礎モデルは比較的過小評価されている。 そこで本研究では,バイ軸変換器(BAT)をベースとして,電子カルテデータセットをトレーニングした危機ケアのための早期事前学習基盤モデルを提案する。 本研究は, 教師付きベースライン, 特に小データセット($<5,000$)において, 教師付きベースラインを上回り, 死亡予測のためのトレーニングソースとは異なるデータセット上でモデルを微調整することにより, 効果的な転写学習を実証する。 これらのコントリビューションは、リソース制限設定における総合的かつ堅牢な臨床応用を支援するために、クリティカルケアタイムシリーズのための自己監督基盤モデルの可能性を強調している。

関連論文リスト

• It's TIME: Towards the Next Generation of Time Series Forecasting Benchmarks [87.7937890373758]
  時系列基礎モデル(TSFM)は,特定のデータセットモデルから一般化可能なタスク評価に至るまで,予測環境に革命をもたらしている。 我々は、50の新しいデータセットと98の予測タスクからなる次世代タスク中心のベンチマークであるTIMEを紹介する。 静的なメタラベルに基づく従来のデータセットレベルの評価を超える新しいパターンレベルの評価視点を提案する。
  論文  参考訳（メタデータ） (2026-02-12T16:31:01Z)
• How Foundational are Foundation Models for Time Series Forecasting? [2.692427265051276]
  時系列データの本質的な多様性は、基礎モデルが効果的なモデル構築にはあまり適さないことを論じる。 時系列基礎モデルのゼロショット能力は、事前訓練された特定のドメインに大きく影響され、結びついていることが示される。
  論文  参考訳（メタデータ） (2025-10-01T10:25:43Z)
• Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
  時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。 微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。 モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T07:07:13Z)
• MIRA: Medical Time Series Foundation Model for Real-World Health Data [39.55921588296102]
  医用時系列の統一基盤モデルは、アノテーションの負担を軽減し、モデルのカスタマイズを最小化し、堅牢な転送を可能にする。 医療時系列の予測に特化して設計された統合基盤モデルであるMIRAを紹介する。 MIRAは、他のゼロショットベースラインや微調整ベースラインと比較して、アウト・オブ・ディストリビューションとイン・ディストリビューションのシナリオで平均10%と7%の誤差を予測できる。
  論文  参考訳（メタデータ） (2025-06-09T09:27:17Z)
• Measuring Pre-training Data Quality without Labels for Time Series Foundation Models [10.64362760848387]
  基礎モデルで学習した表現空間の質を評価するための新しい尺度であるコントラスト精度を導入する。 実験の結果,提案手法とモデル精度との正の相関関係を下流タスクの集合上で明らかにした。
  論文  参考訳（メタデータ） (2024-12-09T10:38:30Z)
• Towards Foundation Models for Critical Care Time Series [38.09906416210531]
  本稿では,コア処理変数を含む最初の大規模コレクションとして,シーケンスモデリングと転送学習研究のための調和データセットを提案する。 将来的には、このデータセットを拡張して、トランスファーラーニングのさらなる進歩と、重要な医療アプリケーションのためのスケーラブルで汎用的なモデルの開発をサポートする予定だ。
  論文  参考訳（メタデータ） (2024-11-25T12:49:55Z)
• GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
  時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。 GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-14T11:29:38Z)
• MOMENT: A Family of Open Time-series Foundation Models [19.0845213853369]
  汎用時系列解析のためのオープンソース基盤モデルのファミリであるMOMENTを紹介する。 我々は、タイムシリーズパイル(Time series Pile)と呼ばれる公開時系列のコレクションをコンパイルし、時系列固有の課題に体系的に取り組みます。 我々は、様々なタスクやデータセットに関する時系列基礎モデルを、限られた監督設定で評価するためのベンチマークを設計するための最近の作業に基づいて構築する。
  論文  参考訳（メタデータ） (2024-02-06T10:48:46Z)
• Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting [54.04430089029033]
  本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。 Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。 このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-12T12:29:32Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。