Fugu-MT 論文翻訳(概要): Beyond LoRA: Exploring Efficient Fine-Tuning Techniques for Time Series Foundational Models

論文の概要: Beyond LoRA: Exploring Efficient Fine-Tuning Techniques for Time Series Foundational Models

arxiv url: http://arxiv.org/abs/2409.11302v1
Date: Tue, 17 Sep 2024 15:57:54 GMT
ステータス: 処理完了
システム内更新日: 2024-09-18 15:47:41.008317
Title: Beyond LoRA: Exploring Efficient Fine-Tuning Techniques for Time Series Foundational Models
Title（参考訳）: LoRAを超えて - 時系列基礎モデルのための効率的なファインチューニング技術を探る
Authors: Divij Gupta, Anubhav Bhatti, Surajsinh Parmar,
Abstract要約: 本研究はChronos Tの複数の構成に対して,2つの選択的 (BitFit と LayerNorm Tuning) と2つの付加的 (VeRA と FourierFT) PEFT 手法を導入,評価した。これらのPEFT手法のいくつかは、セプシスパラメータ効率とドメイン適応の点でLoRAよりも優れており、SOTA(State-of-the-art)を確立することで、ICUの不可欠な予測タスクを実現している。
参考スコア（独自算出の注目度）: 1.1060425537315088
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Time Series Foundation Models (TSFMs) have recently garnered attention for their ability to model complex, large-scale time series data across domains such as retail, finance, and transportation. However, their application to sensitive, domain-specific fields like healthcare remains challenging, primarily due to the difficulty of fine-tuning these models for specialized, out-of-domain tasks with scarce publicly available datasets. In this work, we explore the use of Parameter-Efficient Fine-Tuning (PEFT) techniques to address these limitations, focusing on healthcare applications, particularly ICU vitals forecasting for sepsis patients. We introduce and evaluate two selective (BitFit and LayerNorm Tuning) and two additive (VeRA and FourierFT) PEFT techniques on multiple configurations of the Chronos TSFM for forecasting vital signs of sepsis patients. Our comparative analysis demonstrates that some of these PEFT methods outperform LoRA in terms of parameter efficiency and domain adaptation, establishing state-of-the-art (SOTA) results in ICU vital forecasting tasks. Interestingly, FourierFT applied to the Chronos (Tiny) variant surpasses the SOTA model while fine-tuning only 2,400 parameters compared to the 700K parameters of the benchmark.
Abstract（参考訳）: 時系列ファウンデーションモデル(TSFM)は、小売、金融、交通といった領域にまたがる複雑な大規模時系列データをモデル化する能力に注目が集まっている。しかし、医療のような機密性の高いドメイン固有の分野への応用は、主に、公開データセットが少ない専門的なドメイン外のタスクのためにこれらのモデルを微調整することが困難であるため、依然として困難である。本研究では,これらの限界に対処するためのパラメータ・エフェクト・ファイン・チューニング(PEFT)技術の利用について検討し,医療応用,特に敗血症患者に対するICUバイタル予測に焦点を当てた。本研究はChronos TSFMの複数構成に対する2つの選択的 (BitFit と LayerNorm Tuning) および2つの付加的 (VeRA と FourierFT) PEFT 手法の導入と評価を行った。比較分析により,これらのPEFT手法のいくつかはパラメータ効率や領域適応の点でLoRAよりも優れており,SOTA(State-of-the-art)の確立によってICUの重要予測タスクが達成されることが示された。興味深いことに、FourierFTはChronos (Tiny) の変種に適用し、ベンチマークの700Kのパラメータと比較して2,400のパラメータのみを微調整した。

関連論文リスト

Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
論文参考訳（メタデータ） (2024-10-28T15:54:50Z)
TFT-multi: simultaneous forecasting of vital sign trajectories in the ICU [0.0]
医療データにおける軌道予測は、計算手法の精度ケアと臨床統合において重要な研究領域である。我々は、多次元時系列予測ツールであるフレームワーク時間融合変換器(TFT)を拡張し、TFT-multiを提案する。集中治療室で記録された5つのバイタルサイン (血圧, 脈拍, SpO2, 温度, 呼吸速度) の予測にTFT-multiを適用した。
論文参考訳（メタデータ） (2024-09-23T22:36:37Z)
Understanding Different Design Choices in Training Large Time Series Models [71.20102277299445]
不均一な時系列データに基づく大規模時系列モデル(LTSMs)のトレーニングには,ユニークな課題が伴う。本稿では,時系列データに合わせた新しい統計プロンプトである,時系列プロンプトを提案する。 textttLTSM-bundleを導入します。
論文参考訳（メタデータ） (2024-06-20T07:09:19Z)
Time Series Modeling for Heart Rate Prediction: From ARIMA to Transformers [4.744436991413165]
本研究では、LSTMを含む高度なディープラーニングモデルを用いて、MIT-BIHデータベースから心拍数時系列を予測する。結果は、ディープラーニングモデル、特にPatchTSTが、複数のメトリクスで従来のモデルを大幅に上回っていることを示している。
論文参考訳（メタデータ） (2024-06-18T01:55:37Z)
PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文参考訳（メタデータ） (2024-06-04T13:51:08Z)
FAITH: Frequency-domain Attention In Two Horizons for Time Series Forecasting [13.253624747448935]
時系列予測は、産業機器の保守、気象学、エネルギー消費、交通流、金融投資など、様々な分野で重要な役割を果たしている。現在のディープラーニングベースの予測モデルは、予測結果と基礎的真実の間に大きな違いを示すことが多い。本稿では、時系列をトレンドと季節成分に分解する2つのホライズンズにおける周波数領域注意モデルを提案する。
論文参考訳（メタデータ） (2024-05-22T02:37:02Z)
Low-Rank Adaptation of Time Series Foundational Models for Out-of-Domain Modality Forecasting [5.354055742467354]
Low-Rank Adaptation (LoRA) は、様々なモダリティやタスクにまたがる大規模または基礎的なモデルを微調整する手法である。本稿では,Lug-Llama,MOIRAI,Chronosといった現代時系列基盤モデルに対するLoRAの影響について検討する。
論文参考訳（メタデータ） (2024-05-16T16:05:33Z)
UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。効果的なドメイン間時系列学習のためのUniTimeを提案する。
論文参考訳（メタデータ） (2023-10-15T06:30:22Z)
Unlocking the Potential of Deep Learning in Peak-Hour Series Forecasting [19.396667925659507]
本稿では,Pak-Hour Series Forecasting (PHSF)タスクに特化して設計された新しいフレームワークであるSeq2Peakについて述べる。非定常性問題を緩和するCyclicNormパイプラインと、シンプルだが効果的なトレーニング可能なパラメータフリーのピーク時デコーダの2つの重要なコンポーネントを提供する。公開されている時系列データセットの実験は、提案フレームワークの有効性を実証している。
論文参考訳（メタデータ） (2023-07-04T09:38:38Z)
A Survey on Deep Learning based Time Series Analysis with Frequency Transformation [74.3919960186696]
周波数変換(FT)は、時系列解析における最先端の精度と効率を高めるために、ディープラーニングモデルにますます取り入れられている。この新興分野における注目の高まりと研究の高まりにもかかわらず、現在、FTを用いたディープラーニングベースの時系列モデルの体系的レビューと詳細な分析が欠如している。本稿では,FTを用いた深層学習に基づく時系列解析における最近の研究成果を体系的に研究し,要約する総合的なレビューを紹介する。
論文参考訳（メタデータ） (2023-02-04T14:33:07Z)
Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。