論文の概要: Generalized Prompt Tuning: Adapting Frozen Univariate Time Series Foundation Models for Multivariate Healthcare Time Series

• arxiv url: http://arxiv.org/abs/2411.12824v1
• Date: Tue, 19 Nov 2024 19:20:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:10:20.503697
• Title: Generalized Prompt Tuning: Adapting Frozen Univariate Time Series Foundation Models for Multivariate Healthcare Time Series
• Title（参考訳）: 一般化されたプロンプトチューニング:多変量医療時系列の凍結一様時系列モデルへの適応
• Authors: Mingzhu Liu, Angela H. Chen, George H. Chen,
• Abstract要約: 時系列基礎モデルは、大規模なデータセットで事前訓練され、様々なタスクで最先端のパフォーマンスを達成することができる。 我々は、既存の単変量時系列基礎モデルに適応できる、素早いチューニングインスパイアされた微調整技術Gen-P-Tuningを提案する。 2つのMIMIC分類課題とインフルエンザ様疾患予測における各種ベースラインに対する微調整アプローチの有効性を実証した。
• 参考スコア（独自算出の注目度）: 3.9599054392856483
• License:
• Abstract: Time series foundation models are pre-trained on large datasets and are able to achieve state-of-the-art performance in diverse tasks. However, to date, there has been limited work demonstrating how well these models perform in medical applications, where labeled data can be scarce. Further, we observe that currently, the majority of time series foundation models either are univariate in nature, or assume channel independence, meaning that they handle multivariate time series but do not model how the different variables relate. In this paper, we propose a prompt-tuning-inspired fine-tuning technique, Generalized Prompt Tuning (Gen-P-Tuning), that enables us to adapt an existing univariate time series foundation model (treated as frozen) to handle multivariate time series prediction. Our approach provides a way to combine information across channels (variables) of multivariate time series. We demonstrate the effectiveness of our fine-tuning approach against various baselines on two MIMIC classification tasks, and on influenza-like illness forecasting.
• Abstract（参考訳）: 時系列基礎モデルは、大規模なデータセットで事前訓練され、様々なタスクで最先端のパフォーマンスを達成することができる。 しかし、これまでは、ラベル付きデータが不足する医療応用において、これらのモデルがいかにうまく機能するかを示す研究が限られてきた。 さらに、現在、ほとんどの時系列基礎モデルは、自然界において単変量であるか、チャネル独立を仮定するかのいずれかであり、多変量時系列を扱うが、異なる変数がどのように関連しているかをモデル化していない。 本稿では,多変量時系列予測の処理に既存の単変量時系列基礎モデル(凍結処理)を適用可能な,急速チューニングによる微調整手法であるGeneralized Prompt Tuning(Gen-P-Tuning)を提案する。 我々のアプローチは、多変量時系列のチャネル(変数)間で情報を結合する方法を提供する。 2つのMIMIC分類課題とインフルエンザ様疾患予測における各種ベースラインに対する微調整アプローチの有効性を実証した。

関連論文リスト

• Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts [103.725112190618]
  本稿では,単一入出力プロジェクション層を用いたMoirai-MoEを紹介するとともに,多種多様な時系列パターンのモデリングを専門家の疎結合に委ねる。 39のデータセットに対する大規模な実験は、既存の基盤モデルよりも、分配シナリオとゼロショットシナリオの両方において、Moirai-MoEの優位性を実証している。
  論文  参考訳（メタデータ） (2024-10-14T13:01:11Z)
• Towards Long-Context Time Series Foundation Models [17.224575072056627]
  時系列基礎モデルは、ゼロショットの設定であっても、幅広い領域にわたる様々なタスクにおいて印象的なパフォーマンスを示している。 本研究は,言語領域と時系列領域の両方から,様々な文脈展開手法を体系的に比較することによって,ギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-09-20T14:19:59Z)
• Deep Time Series Models: A Comprehensive Survey and Benchmark [74.28364194333447]
  時系列データは、現実世界のシナリオにおいて非常に重要である。 近年、時系列コミュニティで顕著なブレークスルーが見られた。 多様な分析タスクのためのディープ時系列モデルの公正なベンチマークとして、時系列ライブラリ(TSLib)をリリースします。
  論文  参考訳（メタデータ） (2024-07-18T08:31:55Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Instance-wise Graph-based Framework for Multivariate Time Series Forecasting [69.38716332931986]
  我々は,異なる時刻スタンプにおける変数の相互依存性を利用するための,シンプルで効率的なインスタンス単位のグラフベースのフレームワークを提案する。 私たちのフレームワークのキーとなる考え方は、異なる変数の履歴時系列から予測すべき現在の時系列に情報を集約することです。
  論文  参考訳（メタデータ） (2021-09-14T07:38:35Z)
• Deep Transformer Models for Time Series Forecasting: The Influenza Prevalence Case [2.997238772148965]
  時系列データは、多くの科学と工学の分野で広く使われている。 本稿では,トランスフォーマーに基づく機械学習モデルを用いた時系列予測の新しい手法を提案する。 提案手法により得られた予測結果は,最先端技術と良好に比較できることを示す。
  論文  参考訳（メタデータ） (2020-01-23T00:22:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。