論文の概要: Time Series Generation with Masked Autoencoder
- arxiv url: http://arxiv.org/abs/2201.07006v1
- Date: Fri, 14 Jan 2022 08:11:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-19 17:10:01.591254
- Title: Time Series Generation with Masked Autoencoder
- Title(参考訳): マスク付きオートエンコーダによる時系列生成
- Authors: Mengyue Zha
- Abstract要約: 補間器 (InterpoMAE) を内蔵した仮設オートエンコーダは、時系列のスケーラブルな自己教師型ジェネレータである。
InterpoMAEはマスクトークンではなく補間器を使用して、潜伏空間の欠落したパッチの潜伏表現を復元する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper shows that masked autoencoders with interpolators (InterpoMAE) are
scalable self-supervised generators for time series. InterpoMAE masks random
patches from the input time series and restore the missing patches in the
latent space by an interpolator. The core design is that InterpoMAE uses an
interpolator rather than mask tokens to restore the latent representations for
missing patches in the latent space. This design enables more efficient and
effective capture of temporal dynamics with bidirectional information.
InterpoMAE allows for explicit control on the diversity of synthetic data by
changing the size and number of masked patches. Our approach consistently and
significantly outperforms state-of-the-art (SoTA) benchmarks of unsupervised
learning in time series generation on several real datasets. Synthetic data
produced show promising scaling behavior in various downstream tasks such as
data augmentation, imputation and denoise.
- Abstract(参考訳): 本稿では,InterpoMAE (InterpoMAE) を用いたマスク付きオートエンコーダが,時系列のスケーラブルな自己教師型ジェネレータであることを示す。
インターポマエは入力時系列からランダムなパッチをマスクし、補間器によって潜在空間の欠落したパッチを復元する。
中心となる設計は、interpomaeはマスクトークンではなくインターポレータを使用して、潜在スペースに欠落しているパッチの潜在表現を復元する。
この設計により、双方向情報による時間的ダイナミクスのより効率的かつ効果的なキャプチャが可能になる。
InterpoMAEは、マスクされたパッチのサイズと数を変更することで、合成データの多様性を明確に制御できる。
我々のアプローチは、複数の実データセット上の時系列生成における教師なし学習の最先端(SoTA)ベンチマークを一貫して大幅に上回る。
生成した合成データは、データ拡張、インプット、復調など、さまざまな下流タスクで有望なスケーリング動作を示す。
関連論文リスト
- ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。
データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。
ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
論文 参考訳(メタデータ) (2024-07-17T22:04:00Z) - Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。
GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。
このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
論文 参考訳(メタデータ) (2024-05-22T16:41:21Z) - Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。
加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文 参考訳(メタデータ) (2024-04-18T09:17:06Z) - Revealing the Power of Spatial-Temporal Masked Autoencoders in
Multivariate Time Series Forecasting [17.911251232225094]
マスク付きオートエンコーダを用いて時空間ベースラインモデルの性能を向上させるMSS予測フレームワークを提案する。
事前トレーニング段階では、部分的に見えるMSSデータを処理するためにエンコーダ・デコーダアーキテクチャが使用される。
微調整段階では、エンコーダを保持し、既存の時空間モデルから元のデコーダを付加して予測を行う。
論文 参考訳(メタデータ) (2023-09-26T18:05:19Z) - TimeMAE: Self-Supervised Representations of Time Series with Decoupled
Masked Autoencoders [55.00904795497786]
トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。
TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。
新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
論文 参考訳(メタデータ) (2023-03-01T08:33:16Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
本稿では,Ti-MAEという新しいフレームワークを提案する。
Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。
いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
論文 参考訳(メタデータ) (2023-01-21T03:20:23Z) - Self-supervised Transformer for Multivariate Clinical Time-Series with
Missing Values [7.9405251142099464]
本稿ではSTraTS(Self-supervised Transformer for TimeSeries)モデルを提案する。
伝統的な密度行列表現を使う代わりに、時系列を観測三重項の集合として扱う。
これは、特にラベル付きデータが制限された場合、死亡予測の最先端手法よりも優れた予測性能を示す。
論文 参考訳(メタデータ) (2021-07-29T19:39:39Z) - Explaining Time Series Predictions with Dynamic Masks [91.3755431537592]
機械学習モデルの予測を説明するために動的マスク(Dynamask)を提案する。
人工的および実世界のデータを用いて、Dynamaskのダイナミックな基盤は、そのパーシモニーとともに、時間とともに重要な特徴を識別する優れた改善をもたらすことを実証する。
Dynamaskのモジュラリティは、医療や金融といった分野における幅広い機械学習モデルの透明性を高めるためのプラグインとして理想的だ。
論文 参考訳(メタデータ) (2021-06-09T18:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。