論文の概要: Towards a General Time Series Forecasting Model with Unified Representation and Adaptive Transfer
- arxiv url: http://arxiv.org/abs/2405.17478v3
- Date: Sun, 07 Sep 2025 06:08:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-09 14:07:02.659346
- Title: Towards a General Time Series Forecasting Model with Unified Representation and Adaptive Transfer
- Title(参考訳): 統一表現と適応移動を考慮した一般時系列予測モデルの実現に向けて
- Authors: Yihang Wang, Yuying Qiu, Peng Chen, Kai Zhao, Yang Shu, Zhongwen Rao, Lujia Pan, Bin Yang, Chenjuan Guo,
- Abstract要約: 既存の時系列基礎モデルは、主に一般化性能を高めるために、トレーニング済みデータセットとモデルサイズをスケールアップすることに焦点を当てている。
我々は、ヘテロジニアスなマルチドメイン時系列データから統一表現を導出する方法と、ドメイン固有の特徴を効果的に捉えて、様々な下流シナリオ間で適応的な転送を可能にする方法という、一般的な予測モデルの2つの重要な側面に対処することで、異なるアプローチをとる。
本モデルでは、7つの実世界のベンチマークで最先端の予測性能を達成し、目覚ましい少数ショットとゼロショットの能力を実証する。
- 参考スコア(独自算出の注目度): 24.03830611693476
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the growing availability of multi-domain time series data, there is an increasing demand for general forecasting models pre-trained on multi-source datasets to support diverse downstream prediction scenarios. Existing time series foundation models primarily focus on scaling up pre-training datasets and model sizes to enhance generalization performance. In this paper, we take a different approach by addressing two critical aspects of general forecasting models: (1) how to derive unified representations from heterogeneous multi-domain time series data, and (2) how to effectively capture domain-specific features to enable adaptive transfer across various downstream scenarios. To address the first aspect, we propose Decomposed Frequency Learning as the pre-training task, which leverages frequency-based masking and reconstruction to decompose coupled semantic information in time series, resulting in unified representations across domains. For the second aspect, we introduce the Time Series Register, which captures domain-specific representations during pre-training and enhances adaptive transferability to downstream tasks. Our model achieves the state-of-the-art forecasting performance on seven real-world benchmarks, demonstrating remarkable few-shot and zero-shot capabilities.
- Abstract(参考訳): マルチドメイン時系列データの可用性が向上するにつれ、さまざまな下流予測シナリオをサポートするために、マルチソースデータセットで事前トレーニングされた一般的な予測モデルに対する需要が高まっている。
既存の時系列基礎モデルは、主に一般化性能を高めるために、トレーニング済みデータセットとモデルサイズをスケールアップすることに焦点を当てている。
本稿では,一般予測モデルの2つの重要な側面,(1)異種マルチドメイン時系列データから統一表現を導出する方法,(2)ドメイン固有の特徴を効果的に捉えて,下流のシナリオをまたいで適応的に転送する方法,の2つのアプローチを提案する。
最初の課題を解決するために,周波数ベースのマスキングと再構成を利用して時系列に結合した意味情報を分解し,ドメイン間の統一表現を実現する,事前学習タスクとして分解周波数学習を提案する。
第2の側面として、事前トレーニング中にドメイン固有の表現をキャプチャし、下流タスクへの適応的な転送可能性を高める時系列レジスタを導入する。
本モデルでは、7つの実世界のベンチマークで最先端の予測性能を達成し、目覚ましい少数ショットとゼロショットの能力を実証する。
関連論文リスト
- MFRS: A Multi-Frequency Reference Series Approach to Scalable and Accurate Time-Series Forecasting [51.94256702463408]
時系列予測は、周波数の異なる周期特性から導かれる。
マルチ周波数参照系列相関解析に基づく新しい時系列予測手法を提案する。
主要なオープンデータセットと合成データセットの実験は、最先端のパフォーマンスを示している。
論文 参考訳(メタデータ) (2025-03-11T11:40:14Z) - Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
我々は時系列の統一予測のための因果変換器Timer-XLを提案する。
大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
論文 参考訳(メタデータ) (2024-10-07T07:27:39Z) - Metadata Matters for Time Series: Informative Forecasting with Transformers [70.38241681764738]
時系列予測のためのMetaTST(Metadata-informed Time Series Transformer)を提案する。
メタデータの非構造化の性質に取り組むため、MetaTSTは、事前に設計されたテンプレートによってそれらを自然言語に形式化する。
Transformerエンコーダは、メタデータ情報によるシーケンス表現を拡張するシリーズトークンとメタデータトークンの通信に使用される。
論文 参考訳(メタデータ) (2024-10-04T11:37:55Z) - UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。
従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。
本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
論文 参考訳(メタデータ) (2024-05-17T07:47:11Z) - Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。
Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。
Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-02-04T20:00:45Z) - TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳(メタデータ) (2024-02-04T13:10:51Z) - Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。
事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。
多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文 参考訳(メタデータ) (2024-02-04T06:55:55Z) - Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
本稿では,事前学習中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する,テクスタイディショナルセグメンテーションの新たな手法を提案する。
これにより、異なるダウンストリーム時系列分析タスクに微調整され、ゼロショット設定下では、LPTMはドメイン固有の最先端モデルと同等かそれ以上の性能を発揮する。
論文 参考訳(メタデータ) (2023-11-19T20:16:16Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z) - Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
本稿では,Ti-MAEという新しいフレームワークを提案する。
Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。
いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
論文 参考訳(メタデータ) (2023-01-21T03:20:23Z) - HyperTime: Implicit Neural Representation for Time Series [131.57172578210256]
暗黙の神経表現(INR)は、データの正確で解像度に依存しないエンコーディングを提供する強力なツールとして最近登場した。
本稿では、INRを用いて時系列の表現を分析し、再構成精度とトレーニング収束速度の点で異なるアクティベーション関数を比較した。
本稿では,INRを利用して時系列データセット全体の圧縮潜在表現を学習するハイパーネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-08-11T14:05:51Z) - Time Series is a Special Sequence: Forecasting with Sample Convolution
and Interaction [9.449017120452675]
時系列データ(英: time series)とは、時系列データの一種で、時系列で記録された観測の集合である。
既存のディープラーニング技術では、時系列解析にジェネリックシーケンスモデルを使用しており、そのユニークな性質を無視している。
本稿では,新しいニューラルネットワークアーキテクチャを提案し,時系列予測問題に適用し,時間的モデリングのための複数の解像度でサンプル畳み込みと相互作用を行う。
論文 参考訳(メタデータ) (2021-06-17T08:15:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。