論文の概要: Time Series Generation with Masked Autoencoder
- arxiv url: http://arxiv.org/abs/2201.07006v1
- Date: Fri, 14 Jan 2022 08:11:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-19 17:10:01.591254
- Title: Time Series Generation with Masked Autoencoder
- Title(参考訳): マスク付きオートエンコーダによる時系列生成
- Authors: Mengyue Zha
- Abstract要約: 補間器 (InterpoMAE) を内蔵した仮設オートエンコーダは、時系列のスケーラブルな自己教師型ジェネレータである。
InterpoMAEはマスクトークンではなく補間器を使用して、潜伏空間の欠落したパッチの潜伏表現を復元する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper shows that masked autoencoders with interpolators (InterpoMAE) are
scalable self-supervised generators for time series. InterpoMAE masks random
patches from the input time series and restore the missing patches in the
latent space by an interpolator. The core design is that InterpoMAE uses an
interpolator rather than mask tokens to restore the latent representations for
missing patches in the latent space. This design enables more efficient and
effective capture of temporal dynamics with bidirectional information.
InterpoMAE allows for explicit control on the diversity of synthetic data by
changing the size and number of masked patches. Our approach consistently and
significantly outperforms state-of-the-art (SoTA) benchmarks of unsupervised
learning in time series generation on several real datasets. Synthetic data
produced show promising scaling behavior in various downstream tasks such as
data augmentation, imputation and denoise.
- Abstract(参考訳): 本稿では,InterpoMAE (InterpoMAE) を用いたマスク付きオートエンコーダが,時系列のスケーラブルな自己教師型ジェネレータであることを示す。
インターポマエは入力時系列からランダムなパッチをマスクし、補間器によって潜在空間の欠落したパッチを復元する。
中心となる設計は、interpomaeはマスクトークンではなくインターポレータを使用して、潜在スペースに欠落しているパッチの潜在表現を復元する。
この設計により、双方向情報による時間的ダイナミクスのより効率的かつ効果的なキャプチャが可能になる。
InterpoMAEは、マスクされたパッチのサイズと数を変更することで、合成データの多様性を明確に制御できる。
我々のアプローチは、複数の実データセット上の時系列生成における教師なし学習の最先端(SoTA)ベンチマークを一貫して大幅に上回る。
生成した合成データは、データ拡張、インプット、復調など、さまざまな下流タスクで有望なスケーリング動作を示す。
関連論文リスト
- Spatio-Temporal-Decoupled Masked Pre-training: Benchmarked on Traffic
Forecasting [16.366916967524006]
STD-DeMAEは、複雑な依存関係を学習し、エンコードするためにマスク付きオートエンコーダを使用する新しいフレームワークである。
STD-DeMAEは、長距離空間パターンと時間パターンをキャプチャする能力を明示的に強化する。
論文 参考訳(メタデータ) (2023-12-01T11:43:49Z) - Revealing the Power of Spatial-Temporal Masked Autoencoders in
Multivariate Time Series Forecasting [17.911251232225094]
マスク付きオートエンコーダを用いて時空間ベースラインモデルの性能を向上させるMSS予測フレームワークを提案する。
事前トレーニング段階では、部分的に見えるMSSデータを処理するためにエンコーダ・デコーダアーキテクチャが使用される。
微調整段階では、エンコーダを保持し、既存の時空間モデルから元のデコーダを付加して予測を行う。
論文 参考訳(メタデータ) (2023-09-26T18:05:19Z) - Learning to Mask and Permute Visual Tokens for Vision Transformer
Pre-Training [59.923672191632065]
我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。
MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。
以上の結果から,MaPeTはImageNet上での競合性能を実証した。
論文 参考訳(メタデータ) (2023-06-12T18:12:19Z) - STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action
Recognition [66.96931254510544]
本研究では、モーションキャプチャー(MoCap)シーケンスを用いた人間の行動認識の問題点について検討する。
メッシュシーケンスを直接モデル化する新しい時空間メッシュ変換器(STMT)を提案する。
提案手法は,スケルトンベースモデルやポイントクラウドベースモデルと比較して,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-03-31T16:19:27Z) - TimeMAE: Self-Supervised Representations of Time Series with Decoupled
Masked Autoencoders [55.00904795497786]
トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。
TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。
新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
論文 参考訳(メタデータ) (2023-03-01T08:33:16Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
本稿では,Ti-MAEという新しいフレームワークを提案する。
Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。
いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
論文 参考訳(メタデータ) (2023-01-21T03:20:23Z) - Explaining Time Series Predictions with Dynamic Masks [91.3755431537592]
機械学習モデルの予測を説明するために動的マスク(Dynamask)を提案する。
人工的および実世界のデータを用いて、Dynamaskのダイナミックな基盤は、そのパーシモニーとともに、時間とともに重要な特徴を識別する優れた改善をもたらすことを実証する。
Dynamaskのモジュラリティは、医療や金融といった分野における幅広い機械学習モデルの透明性を高めるためのプラグインとして理想的だ。
論文 参考訳(メタデータ) (2021-06-09T18:01:09Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳(メタデータ) (2021-01-12T20:08:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。