論文の概要: Multi-Scale Finetuning for Encoder-based Time Series Foundation Models

• arxiv url: http://arxiv.org/abs/2506.14087v1
• Date: Tue, 17 Jun 2025 01:06:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.279932
• Title: Multi-Scale Finetuning for Encoder-based Time Series Foundation Models
• Title（参考訳）: エンコーダに基づく時系列基礎モデルのためのマルチスケールファインタニング
• Authors: Zhongzheng Qiao, Chenghao Liu, Yiming Zhang, Ming Jin, Quang Pham, Qingsong Wen, P. N. Suganthan, Xudong Jiang, Savitha Ramasamy,
• Abstract要約: 時系列基礎モデル (TSFM) は, 時系列予測において印象的なゼロショット性能を示す。 我々は、TSFMの能力を十分に活用するに足りず、しばしば過度な適合と準最適性能をもたらすと論じている。 マルチスケールモデリングをファインタニングプロセスに明示的に統合するシンプルなフレームワークであるtextbftextscfinetextbftextsctuning (textbfMSFT)を提案する。
• 参考スコア（独自算出の注目度）: 56.503053716053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time series foundation models (TSFMs) demonstrate impressive zero-shot performance for time series forecasting. However, an important yet underexplored challenge is how to effectively finetune TSFMs on specific downstream tasks. While naive finetuning can yield performance gains, we argue that it falls short of fully leveraging TSFMs' capabilities, often resulting in overfitting and suboptimal performance. Given the diverse temporal patterns across sampling scales and the inherent multi-scale forecasting capabilities of TSFMs, we adopt a causal perspective to analyze finetuning process, through which we highlight the critical importance of explicitly modeling multiple scales and reveal the shortcomings of naive approaches. Focusing on \textit{encoder-based} TSFMs, we propose \textbf{M}ulti\textbf{\textsc{s}}cale \textbf{\textsc{f}}ine\textbf{\textsc{t}}uning (\textbf{MSFT}), a simple yet general framework that explicitly integrates multi-scale modeling into the finetuning process. Experimental results on three different backbones (\moirai, \moment\ and \units) demonstrate that TSFMs finetuned with MSFT not only outperform naive and typical parameter efficient finetuning methods but also surpass state-of-the-art deep learning methods.
• Abstract（参考訳）: 時系列基礎モデル (TSFM) は, 時系列予測において印象的なゼロショット性能を示す。 しかし、探索されていない重要な課題は、特定の下流タスクに対して効果的にTSFMを微調整する方法である。 直感的な微調整によって性能が向上するが、TSFMの能力を完全に活用するに足りず、しばしば過度な適合や準最適性能をもたらすと我々は論じる。 サンプリングスケールにまたがる多様な時間的パターンとTSFMの固有のマルチスケール予測能力を考えると、微調整プロセスの解析には因果的視点を採用し、複数のスケールを明示的にモデル化することの重要性を強調し、単純アプローチの欠点を明らかにする。 本稿では, マルチスケールモデリングをファインタニングプロセスに明示的に統合するシンプルなフレームワークである, \textbf{M}ulti\textbf{\textsc{s}}cale \textbf{\textsc{f}}ine\textbf{\textsc{t}}uning (\textbf{MSFT})を提案する。 3つの異なるバックボーン (\moirai, \moment\, \units) の実験結果から, MSFTで微調整したTSFMは, ナイーブおよび典型的なパラメータ効率のよい微調整法よりも, 最先端の深層学習法よりも優れていることが示された。

関連論文リスト

• Less is More: Unlocking Specialization of Time Series Foundation Models via Structured Pruning [29.377178687865136]
  時系列基礎モデル 広大なパラメータを事前訓練し、驚くべきゼロショット予測性能を達成する。 驚くべきことに、微調整後も、TSFMは、フルショットダウンストリームデータでトレーニングされた、より小さな、特殊なモデルよりも一貫してパフォーマンスを向上することはできない。 より関連性が高くコンパクトなパラメータ空間に焦点を合わせることにより、その後の微調整プロセスを正規化するための構造化プルーニング法を提案する。
  論文  参考訳（メタデータ） (2025-05-29T07:33:49Z)
• Investigating Compositional Reasoning in Time Series Foundation Models [16.421597202235112]
  TSFMアーキテクチャ設計が構成的推論と一般化に与える影響について検討する。 私たちはパッチベースのトランスフォーマーが最高の理由付け性能を持っていることに気付きました。 いくつかのゼロショットのアウト・オブ・ディストリビューションのシナリオでは、これらのモデルは、イン・ディストリビューションデータに基づいてトレーニングされた移動平均と指数的スムーズな統計ベースラインより優れている。
  論文  参考訳（メタデータ） (2025-02-09T21:21:55Z)
• Time Series Foundational Models: Their Role in Anomaly Detection and Prediction [0.0]
  時系列基礎モデル (TSFM) は時系列予測において注目されている。 本稿では,異常検出および予測タスクにおけるTSFMの有効性を批判的に評価する。
  論文  参考訳（メタデータ） (2024-12-26T17:15:30Z)
• MFF-FTNet: Multi-scale Feature Fusion across Frequency and Temporal Domains for Time Series Forecasting [18.815152183468673]
  時系列予測は多くの分野において重要であるが、現在のディープラーニングモデルはノイズやデータの分散、複雑なパターンのキャプチャに苦労している。 本稿では,コントラスト学習とマルチスケール特徴抽出を組み合わせることで,これらの課題に対処する新しいフレームワークであるMFF-FTNetを提案する。 5つの実世界のデータセットに対する大規模な実験は、MFF-FTNetが最先端のモデルを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-11-26T12:41:42Z)
• Visual Fourier Prompt Tuning [63.66866445034855]
  本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。 提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。 提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-02T18:18:35Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)
• MixPHM: Redundancy-Aware Parameter-Efficient Tuning for Low-Resource Visual Question Answering [66.05768870785548]
  微調整事前学習型視覚言語モデル(VLM)は、視覚質問応答(VQA)における最先端性能を達成するための一般的なパラダイムである。 現在のパラメータ効率のチューニング手法は、チューニング可能なパラメータの数を劇的に削減するが、完全な微調整を伴う大きなパフォーマンスギャップは依然として残っている。 低リソースVQAにおける完全微調整よりも優れた冗長性を考慮したパラメータ効率調整法であるMixPHMを提案する。
  論文  参考訳（メタデータ） (2023-03-02T13:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。