論文の概要: Low-Rank Adaptation of Time Series Foundational Models for Out-of-Domain Modality Forecasting
- arxiv url: http://arxiv.org/abs/2405.10216v1
- Date: Thu, 16 May 2024 16:05:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 13:43:00.202807
- Title: Low-Rank Adaptation of Time Series Foundational Models for Out-of-Domain Modality Forecasting
- Title（参考訳）: 外部モード予測のための時系列基本モデルの低ランク適応
- Authors: Divij Gupta, Anubhav Bhatti, Suraj Parmar, Chen Dan, Yuwei Liu, Bingjie Shen, San Lee,
- Abstract要約: Low-Rank Adaptation (LoRA) は、様々なモダリティやタスクにまたがる大規模または基礎的なモデルを微調整する手法である。
本稿では,Lug-Llama,MOIRAI,Chronosといった現代時系列基盤モデルに対するLoRAの影響について検討する。
- 参考スコア（独自算出の注目度）: 5.354055742467354
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Low-Rank Adaptation (LoRA) is a widely used technique for fine-tuning large pre-trained or foundational models across different modalities and tasks. However, its application to time series data, particularly within foundational models, remains underexplored. This paper examines the impact of LoRA on contemporary time series foundational models: Lag-Llama, MOIRAI, and Chronos. We demonstrate LoRA's fine-tuning potential for forecasting the vital signs of sepsis patients in intensive care units (ICUs), emphasizing the models' adaptability to previously unseen, out-of-domain modalities. Integrating LoRA aims to enhance forecasting performance while reducing inefficiencies associated with fine-tuning large models on limited domain-specific data. Our experiments show that LoRA fine-tuning of time series foundational models significantly improves forecasting, achieving results comparable to state-of-the-art models trained from scratch on similar modalities. We conduct comprehensive ablation studies to demonstrate the trade-offs between the number of tunable parameters and forecasting performance and assess the impact of varying LoRA matrix ranks on model performance.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、様々なモダリティやタスクにまたがる、大規模または基礎的なモデルを微調整するための広く使われているテクニックである。
しかし、時系列データ、特に基礎モデルへの応用は未定である。
本稿では,Lug-Llama,MOIRAI,Chronosといった現代時系列基盤モデルに対するLoRAの影響について検討する。
集中治療室 (ICUs) における敗血症患者の致命的な徴候を予測するためのLoRAの微調整能力を実証し, 既往の領域外モダリティに対するモデルの適応性を強調した。
LoRAの統合は、限られたドメイン固有データに対して、微調整された大規模モデルに関連する非効率を低減しつつ、予測性能を向上させることを目的としている。
実験により, 時系列基礎モデルのLoRA微調整により予測が大幅に向上し, 類似のモダリティをスクラッチからトレーニングした最先端モデルに匹敵する結果が得られた。
本研究では,調整可能なパラメータの数と予測性能のトレードオフを示すための総合的アブレーション研究を行い,モデル性能に対する様々なLoRA行列ランクの影響を評価する。
関連論文リスト
- Retrieval-Augmented Diffusion Models for Time Series Forecasting [19.251274915003265]
検索時間拡張拡散モデル(RATD)を提案する。
RATDは埋め込みベースの検索プロセスと参照誘導拡散モデルという2つの部分から構成される。
当社のアプローチでは,データベース内の意味のあるサンプルを活用することで,サンプリングを支援し,データセットの利用を最大化することが可能です。
論文 参考訳（メタデータ） (2024-10-24T13:14:39Z) - On conditional diffusion models for PDE simulations [53.01911265639582]
スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。
本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。
また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2024-10-21T18:31:04Z) - Autoregressive Moving-average Attention Mechanism for Time Series Forecasting [9.114664059026767]
本稿では,各種の線形アテンション機構に適応可能な自己回帰(AR)移動平均アテンション構造を提案する。
本稿では、まず、時系列予測(TSF)タスクに対して、これまで見過ごされていたデコーダのみの自己回帰変換モデルが、最良のベースラインに匹敵する結果が得られることを実証する。
論文 参考訳（メタデータ） (2024-10-04T05:45:50Z) - Fuxi-DA: A Generalized Deep Learning Data Assimilation Framework for Assimilating Satellite Observations [15.934673617658609]
ディープラーニングモデルは、世界中のトップNWPモデルのマッチング、さらには予測精度を超越する可能性を示している。
本研究は、衛星観測を同化するための一般化されたDLベースのDAフレームワークであるFuxiDAを紹介する。
Fengyun-4Bに搭載されたAdvanced Geosynchronous Radiation Imager(AGRI)のデータを同調することにより、FuXi-DAは解析誤差を一貫して軽減し、予測性能を大幅に改善する。
論文 参考訳（メタデータ） (2024-04-12T15:02:14Z) - Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳（メタデータ） (2024-02-12T16:15:25Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Lag-Llama: Towards Foundation Models for Probabilistic Time Series
Forecasting [54.04430089029033]
本稿では,デコーダのみの変換器アーキテクチャに基づく時系列予測のための汎用基礎モデルであるLag-Llamaを提案する。
Lag-Llamaは、複数のドメインからの多様な時系列データの大規模なコーパスで事前訓練され、強力なゼロショット一般化能力を示す。
このような未確認データセットの比較的小さな部分で微調整を行うと、Lag-Llamaは最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-10-12T12:29:32Z) - An Attention Free Long Short-Term Memory for Time Series Forecasting [0.0]
本研究では,より効率的なフレームワークであるアテンションフリー機構を用いた時系列予測に着目し,時系列予測のための新しいアーキテクチャを提案する。
本研究では,無注意LSTM層を用いて,条件分散予測のための線形モデルを克服するアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-09-20T08:23:49Z) - Deep Autoregressive Models with Spectral Attention [74.08846528440024]
本稿では,深部自己回帰モデルとスペクトル注意(SA)モジュールを組み合わせた予測アーキテクチャを提案する。
時系列の埋め込みをランダムなプロセスの発生としてスペクトル領域に特徴付けることにより,グローバルな傾向と季節パターンを同定することができる。
時系列に対するグローバルとローカルの2つのスペクトルアテンションモデルは、この情報を予測の中に統合し、スペクトルフィルタリングを行い、時系列のノイズを除去する。
論文 参考訳（メタデータ） (2021-07-13T11:08:47Z) - Back2Future: Leveraging Backfill Dynamics for Improving Real-time
Predictions in Future [73.03458424369657]
公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。
過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。
我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
論文 参考訳（メタデータ） (2021-06-08T14:48:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。