論文の概要: Correlated Time Series Self-Supervised Representation Learning via Spatiotemporal Bootstrapping

• arxiv url: http://arxiv.org/abs/2306.06994v2
• Date: Tue, 20 Jun 2023 15:29:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 01:04:00.494825
• Title: Correlated Time Series Self-Supervised Representation Learning via Spatiotemporal Bootstrapping
• Title（参考訳）: 時空間ブートストラップによる時系列自己監督表現学習
• Authors: Luxuan Wang, Lei Bai, Ziyue Li, Rui Zhao, Fugee Tsung
• Abstract要約: 時系列分析は多くの実業界で重要な役割を担っている。 本稿では,個別インスタンスを対象とした時間段階表現学習フレームワークを提案する。 学習した表現の上に訓練された線形回帰モデルにより、ほとんどの場合、我々のモデルは最高のパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 13.988624652592259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Correlated time series analysis plays an important role in many real-world industries. Learning an efficient representation of this large-scale data for further downstream tasks is necessary but challenging. In this paper, we propose a time-step-level representation learning framework for individual instances via bootstrapped spatiotemporal representation prediction. We evaluated the effectiveness and flexibility of our representation learning framework on correlated time series forecasting and cold-start transferring the forecasting model to new instances with limited data. A linear regression model trained on top of the learned representations demonstrates our model performs best in most cases. Especially compared to representation learning models, we reduce the RMSE, MAE, and MAPE by 37%, 49%, and 48% on the PeMS-BAY dataset, respectively. Furthermore, in real-world metro passenger flow data, our framework demonstrates the ability to transfer to infer future information of new cold-start instances, with gains of 15%, 19%, and 18%. The source code will be released under the GitHub https://github.com/bonaldli/Spatiotemporal-TS-Representation-Learning
• Abstract（参考訳）: 関連時系列分析は多くの実業界で重要な役割を果たしている。 より下流のタスクのために、この大規模なデータの効率的な表現を学ぶことは必要だが、難しい。 本稿では,ブートストラップ付き時空間表現予測による個別インスタンスの時間段階表現学習フレームワークを提案する。 我々は,時系列の相関予測と予測モデルをデータ制限のある新しいインスタンスに転送するコールドスタートにおける表現学習フレームワークの有効性と柔軟性を評価した。 学習した表現の上にトレーニングされた線形回帰モデルは、私たちのモデルがほとんどのケースで最高のパフォーマンスを示す。 特に表現学習モデルと比較して, PMS-BAYデータセットではRMSE, MAE, MAPEを37%, 49%, 48%削減する。 さらに, 実世界の乗客フローデータでは, 15%, 19%, 18%の増加率で, 新たなコールドスタートインスタンスの今後の情報を推測する能力を示す。 ソースコードはGitHub https://github.com/bonaldli/Spatiotemporal-TS-Representation-Learningで公開される。

関連論文リスト

• A Mamba Foundation Model for Time Series Forecasting [13.593170999506889]
  本稿では,マンバアーキテクチャ上に構築された時系列予測のための線形複雑基盤モデルであるTSMambaを紹介する。 このモデルは、前方および後方のMambaエンコーダを通して時間的依存関係をキャプチャし、高い予測精度を達成する。 また、タスク固有の予測モデルと比較して、競争力や優れたフルショットパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-11-05T09:34:05Z)
• Time Series Representation Models [2.724184832774005]
  時系列解析は、そのスパース特性、高次元性、一貫性のないデータ品質のため、依然として大きな課題である。 近年のトランス技術の発展により,予測や計算能力が向上している。 イントロスペクションに基づく時系列解析のための新しいアーキテクチャ概念を提案する。
  論文  参考訳（メタデータ） (2024-05-28T13:25:31Z)
• No "Zero-Shot" Without Exponential Data: Pretraining Concept Frequency Determines Multimodal Model Performance [68.18779562801762]
  マルチモーダルモデルは、下流の"ゼロショット"のパフォーマンスを線形改善するために、指数関数的に多くのデータを必要とする。 本研究は,大規模な訓練パラダイムの下での「ゼロショット」一般化能力の鍵となる訓練データに対する指数関数的要求を明らかにする。
  論文  参考訳（メタデータ） (2024-04-04T17:58:02Z)
• Pushing the Limits of Pre-training for Time Series Forecasting in the CloudOps Domain [54.67888148566323]
  クラウドオペレーションドメインから,大規模時系列予測データセットを3つ導入する。 強力なゼロショットベースラインであり、モデルとデータセットサイズの両方において、さらなるスケーリングの恩恵を受けています。 これらのデータセットと結果を取得することは、古典的および深層学習のベースラインを事前訓練された方法と比較した総合的なベンチマーク結果の集合である。
  論文  参考訳（メタデータ） (2023-10-08T08:09:51Z)
• Instance-Conditional Timescales of Decay for Non-Stationary Learning [11.90763787610444]
  スローコンセプトドリフトは、機械学習システムにおいて、ユビキタスだが未研究の課題である。 大規模トレーニングウィンドウ上でのインスタンスの重要さのバランスをとるための最適化型アプローチを提案する。 9年間にわたる39万枚の写真からなる大規模な実世界のデータセットの実験では、精度が15%まで向上した。
  論文  参考訳（メタデータ） (2022-12-12T14:16:26Z)
• The future is different: Large pre-trained language models fail in prediction tasks [2.9005223064604078]
  WALLSTREETBETS, ASKSCIENCE, THE DONALD, POLITICSの4つの新しいREDDITデータセットを紹介した。 まず,トピック分布が時間とともに変化するサブレディットからのポストの人気を予測した場合,LPLMは平均88%の性能低下を示すことを実証的に実証した。 次に、ニューラル変動動的トピックモデルとアテンションメカニズムを利用して、回帰タスクの時間的言語モデル表現を推論する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T11:01:36Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。