論文の概要: NuTime: Numerically Multi-Scaled Embedding for Large-Scale Time Series Pretraining

• arxiv url: http://arxiv.org/abs/2310.07402v1
• Date: Wed, 11 Oct 2023 11:38:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 23:01:26.559494
• Title: NuTime: Numerically Multi-Scaled Embedding for Large-Scale Time Series Pretraining
• Title（参考訳）: NuTime: 大規模時系列事前トレーニングのための数値的マルチスケール埋め込み
• Authors: Chenguo Lin, Xumeng Wen, Wei Cao, Congrui Huang, Jiang Bian, Stephen Lin, Zhirong Wu
• Abstract要約: 時系列データの数値特性に合わせた重要な技術的貢献を行う。 入力をオーバーラップしないウィンドウに分割することでTransformerアーキテクチャを採用する。 任意の数値スケールを持つスカラー値を高次元ベクトルに埋め込むために,数値的に多スケールな埋め込みモジュールを提案する。
• 参考スコア（独自算出の注目度）: 30.029276727961395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research on time-series self-supervised models shows great promise in learning semantic representations. However, it has been limited to small-scale datasets, e.g., thousands of temporal sequences. In this work, we make key technical contributions that are tailored to the numerical properties of time-series data and allow the model to scale to large datasets, e.g., millions of temporal sequences. We adopt the Transformer architecture by first partitioning the input into non-overlapping windows. Each window is then characterized by its normalized shape and two scalar values denoting the mean and standard deviation within each window. To embed scalar values that may possess arbitrary numerical scales to high-dimensional vectors, we propose a numerically multi-scaled embedding module enumerating all possible scales for the scalar values. The model undergoes pretraining using the proposed numerically multi-scaled embedding with a simple contrastive objective on a large-scale dataset containing over a million sequences. We study its transfer performance on a number of univariate and multivariate classification benchmarks. Our method exhibits remarkable improvement against previous representation learning approaches and establishes the new state of the art, even compared with domain-specific non-learning-based methods.
• Abstract（参考訳）: 時系列自己教師付きモデルに関する最近の研究は、意味表現の学習において大きな期待を示している。 しかし、数千の時間的シーケンスなど、小規模なデータセットに制限されている。 本研究では,時系列データの数値特性に合わせた重要な技術的貢献を行い,そのモデルを大規模データセット,例えば数百万の時間的シーケンスにスケールできるようにする。 入力をオーバーラップしないウィンドウに分割することでTransformerアーキテクチャを採用する。 各ウィンドウは、その正規化された形状と、各ウィンドウ内の平均と標準偏差を示す2つのスカラー値によって特徴づけられる。 任意の数値スケールを持つスカラー値を高次元ベクトルに埋め込むため,スカラー値に対して可能なすべてのスケールを列挙する数値的多スケール埋め込みモジュールを提案する。 このモデルは、100万以上のシーケンスを含む大規模データセットに対して、単純なコントラスト目的の数値的マルチスケール埋め込みを用いて事前学習を行う。 複数の単変量および多変量分類ベンチマーク上での転送性能について検討する。 本手法は,従来の表現型学習手法に対して著しく改善し,ドメイン固有の非学習型手法と比較しても新しい状態を確立する。

関連論文リスト

• Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
  任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。 具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。 バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
  論文  参考訳（メタデータ） (2024-05-27T22:15:23Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)
• The Effectiveness of Discretization in Forecasting: An Empirical Study on Neural Time Series Models [15.281725756608981]
  ニューラル予測アーキテクチャの予測性能に及ぼすデータ入力および出力変換の影響について検討する。 バイナリ化は実値入力の正規化に比べてほぼ常に性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-05-20T15:09:28Z)
• SummerTime: Variable-length Time SeriesSummarization with Applications to PhysicalActivity Analysis [6.027126804548653]
  textitSummerTimeは、グローバルな時系列信号の要約を目指している。 可変長時系列の固定長で頑健な要約を提供する。
  論文  参考訳（メタデータ） (2020-02-20T20:20:06Z)
• Conditional Mutual information-based Contrastive Loss for Financial Time Series Forecasting [12.0855096102517]
  金融時系列予測のための表現学習フレームワークを提案する。 本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-02-18T15:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。