論文の概要: TRACE: Time SeRies PArameter EffiCient FinE-tuning
- arxiv url: http://arxiv.org/abs/2503.16991v1
- Date: Fri, 21 Mar 2025 09:55:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-24 14:56:01.468719
- Title: TRACE: Time SeRies PArameter EffiCient FinE-tuning
- Title（参考訳）: TRACE:Parameter EffiCient Fine-tuningのタイムシリーズ
- Authors: Yuze Li, Wei Zhu,
- Abstract要約: TRACE: Time Series Efficient Fine-tuning と呼ばれる時系列基礎モデルの効率的な微調整法を提案する。
長期予測タスクでは、調整された微調整がパフォーマンスを大幅に向上させる。
- 参考スコア（独自算出の注目度）: 4.398852373014641
- License:
- Abstract: We propose an efficient fine-tuning method for time series foundation models, termed TRACE: Time Series Parameter Efficient Fine-tuning. While pretrained time series foundation models are gaining popularity, they face the following challenges: (1) Unlike natural language tasks, time series data vary in frequency, channel numbers, historical/prediction lengths. For long-term forecasting tasks in particular, tailored fine-tuning can significantly enhance performance.(2) Existing parameter-efficient tuning methods like LoRA remain applicable but require adaptation to temporal characteristics. To address these challenges, our TRACE framework introduces two key innovations: (1) Gated DSIC (Gated Dynamic Simulation Importance Calculation), an unbiased LoRA module importance selection mechanism that ensures conditional parameter consistency before and after masking. Experiments demonstrate that Gated DSIC outperforms common fine-tuning. (2) Reconstructed prediction heads for long-term forecasting tasks, which achieve comparable or superior performance to linear probing heads while drastically reducing parameter counts. Extensive experiments on long-/short-term forecasting and anomaly detection tasks across diverse datasets, coupled with ablation studies, validate the effectiveness of our method.
- Abstract（参考訳）: TRACE: Time Series Parameter Efficient Fine-tuning と呼ばれる時系列基礎モデルの効率的な微調整法を提案する。
1) 自然言語のタスクとは異なり、時系列データは周波数、チャンネル番号、履歴・予測長によって異なる。
特に長期予測タスクでは、調整された微調整により性能が大幅に向上する。
2) LoRA のような既存のパラメータ効率のチューニング手法は適用可能であるが,時間特性に適応する必要がある。
これらの課題に対処するため, TRACE フレームワークでは,(1) Gated DSIC (Gated Dynamic Simulation Importance Computing) という, マスキング前後の条件パラメータの整合性を保証する非バイアスの LoRA モジュール重要度選択機構を導入している。
実験により、Gated DSICは一般的な微調整よりも優れていることが示された。
2) 長期予測タスクの再構成予測ヘッドは, パラメータ数を劇的に削減しつつ, 線形探索ヘッドに匹敵する, あるいは優れた性能が得られる。
各種データセットを対象とした長期・短期予測および異常検出タスクの広範囲な実験とアブレーション研究の併用により,本手法の有効性が検証された。
関連論文リスト
- STTS-EAD: Improving Spatio-Temporal Learning Based Time Series Prediction via [7.247017092359663]
時系列予測のトレーニングプロセスに異常をシームレスに統合するエンドツーエンドのSTTS-EADを提案する。
提案するSTTS-EADは,時間的情報を用いて予測と異常検出を行う。
提案手法は,トレーニング段階において検出された異常を効果的に処理し,推論段階における予測性能を向上し,ベースラインを著しく上回ることを示す。
論文 参考訳（メタデータ） (2025-01-14T03:26:05Z) - MATEY: multiscale adaptive foundation models for spatiotemporal physical systems [2.7767126393602726]
局所的な特徴に基づくパッチサイズを動的に調整する2つの適応トークン化方式を提案する。
提案するマルチスケール適応モデルであるMATEYの性能を実験で評価する。
また、PDEデータに基づいて事前学習した物理を特徴とする微調整タスクについても紹介する。
論文 参考訳（メタデータ） (2024-12-29T22:13:16Z) - Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。
事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。
次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
論文 参考訳（メタデータ） (2024-08-21T06:48:38Z) - Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。
実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。
Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
論文 参考訳（メタデータ） (2024-07-28T19:18:59Z) - TimeSieve: Extracting Temporal Dynamics through Information Bottlenecks [31.10683149519954]
本稿では,時系列予測モデルTimeSieveを提案する。
提案手法では、ウェーブレット変換を用いて時系列データを前処理し、マルチスケールの特徴を効果的にキャプチャする。
本研究は,時系列予測における課題に対処するためのアプローチの有効性を検証した。
論文 参考訳（メタデータ） (2024-06-07T15:58:12Z) - Graph Spatiotemporal Process for Multivariate Time Series Anomaly
Detection with Missing Values [67.76168547245237]
本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。
実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
論文 参考訳（メタデータ） (2024-01-11T10:10:16Z) - E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。
本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。
提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2023-07-25T19:03:21Z) - Mlinear: Rethink the Linear Model for Time-series Forecasting [9.841293660201261]
Mlinearは、主に線形層に基づく単純だが効果的な方法である。
複数のデータセット上で広く使われている平均二乗誤差(MSE)を大幅に上回る新しい損失関数を導入する。
提案手法は,PatchTSTを336列長入力で21:3,512列長入力で29:10で有意に上回った。
論文 参考訳（メタデータ） (2023-05-08T15:54:18Z) - Generative Time Series Forecasting with Diffusion, Denoise, and
Disentanglement [51.55157852647306]
時系列予測は多くのアプリケーションにおいて非常に重要な課題である。
実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。
本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
論文 参考訳（メタデータ） (2023-01-08T12:20:46Z) - Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。
時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。
我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。
提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
論文 参考訳（メタデータ） (2022-10-02T06:58:49Z) - Conformal Prediction Bands for Two-Dimensional Functional Time Series [0.0]
時間発展曲面は2次元関数時系列としてモデル化することができ、関数データ解析のツールを利用することができる。
主な焦点は、予測問題の不確実性を定量化するために使用される多目的な非パラメトリックパラダイムであるコンフォーマル予測(英語版)を中心に展開される。
2次元関数時系列の確率的予測スキームを提示し、次数1の自己回帰過程をこの設定に拡張する。
論文 参考訳（メタデータ） (2022-07-27T17:23:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。