論文の概要: NuTime: Numerically Multi-Scaled Embedding for Large-Scale Time-Series Pretraining

• arxiv url: http://arxiv.org/abs/2310.07402v3
• Date: Wed, 10 Jul 2024 15:52:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 22:19:38.222463
• Title: NuTime: Numerically Multi-Scaled Embedding for Large-Scale Time-Series Pretraining
• Title（参考訳）: NuTime: 大規模時系列事前学習のための数値的マルチスケール埋め込み
• Authors: Chenguo Lin, Xumeng Wen, Wei Cao, Congrui Huang, Jiang Bian, Stephen Lin, Zhirong Wu,
• Abstract要約: 時系列データの数値特性に合わせた重要な技術的貢献を行う。 入力をオーバーラップしないウィンドウに分割することでTransformerアーキテクチャを採用する。 任意の数値振幅を持つスカラー値を高次元空間に埋め込むために,数値的に多スケールな埋め込みモジュールを提案する。
• 参考スコア（独自算出の注目度）: 28.595342663018627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research on time-series self-supervised models shows great promise in learning semantic representations. However, it has been limited to small-scale datasets, e.g., thousands of temporal sequences. In this work, we make key technical contributions that are tailored to the numerical properties of time-series data and allow the model to scale to large datasets, e.g., millions of temporal sequences. We adopt the Transformer architecture by first partitioning the input into non-overlapping windows. Each window is then characterized by its normalized shape and two scalar values denoting the mean and standard deviation within each window. To embed scalar values that may possess arbitrary numerical amplitudes in a high-dimensional space, we propose a numerically multi-scaled embedding module enumerating all possible numerical scales for the scalars. The model undergoes pretraining with a simple contrastive objective on a large-scale dataset over a million sequences collected by merging existing public data. We study its transfer performance on a number of univariate and multivariate classification tasks, few shot learning, unsupervised clustering and anomaly detection benchmarks. Our method exhibits remarkable improvement against previous pretraining approaches and establishes the new state of the art, even compared with domain-specific non-learning-based methods. Code is available at: \url{https://github.com/chenguolin/NuTime}.
• Abstract（参考訳）: 近年の時系列自己教師型モデルの研究は,意味表現の学習において大きな可能性を秘めている。 しかし、これは小さなデータセット、例えば数千の時間的シーケンスに限られている。 本研究では,時系列データの数値特性に合わせた重要な技術的コントリビューションを行い,そのモデルを大規模データセット,例えば数百万の時間的シーケンスにスケールできるようにする。 入力をオーバーラップしないウィンドウに分割することでTransformerアーキテクチャを採用する。 それぞれのウィンドウは、その正規化された形状と、各ウィンドウ内の平均および標準偏差を表す2つのスカラー値によって特徴づけられる。 任意の数値振幅を持つスカラー値を高次元空間に埋め込むために,スカラーの可能な全ての数値スケールを列挙した数値的マルチスケール埋め込みモジュールを提案する。 このモデルは、既存の公開データをマージして収集された100万のシーケンスを超える大規模なデータセットに対して、単純なコントラスト目的で事前トレーニングを行う。 本研究では,一変量および多変量分類タスク,ショットラーニングの欠如,教師なしクラスタリング,異常検出ベンチマークについて,その転送性能について検討する。 本手法は,従来の事前学習手法に対して顕著な改善が見られ,ドメイン固有の非学習手法と比較しても,新しい最先端技術を確立している。 コードは以下の通り: \url{https://github.com/chenguolin/NuTime}。

関連論文リスト

• Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
  任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。 具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。 バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
  論文  参考訳（メタデータ） (2024-05-27T22:15:23Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)
• The Effectiveness of Discretization in Forecasting: An Empirical Study on Neural Time Series Models [15.281725756608981]
  ニューラル予測アーキテクチャの予測性能に及ぼすデータ入力および出力変換の影響について検討する。 バイナリ化は実値入力の正規化に比べてほぼ常に性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-05-20T15:09:28Z)
• SummerTime: Variable-length Time SeriesSummarization with Applications to PhysicalActivity Analysis [6.027126804548653]
  textitSummerTimeは、グローバルな時系列信号の要約を目指している。 可変長時系列の固定長で頑健な要約を提供する。
  論文  参考訳（メタデータ） (2020-02-20T20:20:06Z)
• Conditional Mutual information-based Contrastive Loss for Financial Time Series Forecasting [12.0855096102517]
  金融時系列予測のための表現学習フレームワークを提案する。 本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-02-18T15:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。