論文の概要: TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders

• arxiv url: http://arxiv.org/abs/2303.00320v2
• Date: Fri, 3 Mar 2023 02:46:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 11:50:03.088431
• Title: TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders
• Title（参考訳）: TimeMAE: 切り離されたマスクオートエンコーダによる時系列の自己監督表現
• Authors: Mingyue Cheng, Qi Liu, Zhiding Liu, Hao Zhang, Rujiao Zhang, Enhong Chen
• Abstract要約: トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。 TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。 新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
• 参考スコア（独自算出の注目度）: 55.00904795497786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Enhancing the expressive capacity of deep learning-based time series models with self-supervised pre-training has become ever-increasingly prevalent in time series classification. Even though numerous efforts have been devoted to developing self-supervised models for time series data, we argue that the current methods are not sufficient to learn optimal time series representations due to solely unidirectional encoding over sparse point-wise input units. In this work, we propose TimeMAE, a novel self-supervised paradigm for learning transferrable time series representations based on transformer networks. The distinct characteristics of the TimeMAE lie in processing each time series into a sequence of non-overlapping sub-series via window-slicing partitioning, followed by random masking strategies over the semantic units of localized sub-series. Such a simple yet effective setting can help us achieve the goal of killing three birds with one stone, i.e., (1) learning enriched contextual representations of time series with a bidirectional encoding scheme; (2) increasing the information density of basic semantic units; (3) efficiently encoding representations of time series using transformer networks. Nevertheless, it is a non-trivial to perform reconstructing task over such a novel formulated modeling paradigm. To solve the discrepancy issue incurred by newly injected masked embeddings, we design a decoupled autoencoder architecture, which learns the representations of visible (unmasked) positions and masked ones with two different encoder modules, respectively. Furthermore, we construct two types of informative targets to accomplish the corresponding pretext tasks. One is to create a tokenizer module that assigns a codeword to each masked region, allowing the masked codeword classification (MCC) task to be completed effectively...
• Abstract（参考訳）: 自己教師付き事前学習による深層学習に基づく時系列モデルの表現能力の向上は,時系列分類においてますます普及している。 時系列データに対する自己教師付きモデルの開発には多くの努力が払われてきたが、sparse point-wise 入力ユニット上の一方向符号化のみのため、現在の手法では最適な時系列表現を学習するには不十分である。 本稿では,トランスフォーマーネットワークに基づく転送可能時系列表現を学習するための,新しい自己教師付きパラダイムであるtimemaeを提案する。 TimeMAEの特徴は、各時系列をウィンドウスライシングパーティショニングを介して非重複サブシリーズのシーケンスに処理し、続いて局所化されたサブシリーズのセマンティックユニットに対するランダムマスキング戦略である。 このような単純で効果的な設定は、1つの石で3羽の鳥を殺すこと、すなわち、2方向の符号化方式で時系列の豊かな文脈表現を学ぶこと、2基本的な意味単位の情報密度を高めること、3トランスフォーマーネットワークを用いた時系列の表現を効率的にエンコーディングすることに役立つ。 にもかかわらず、そのような新しい定式化モデリングパラダイムに対して再構成タスクを実行するのは簡単ではない。 新たに注入されたマスク埋め込みによって生じる不一致問題を解決するために,2つの異なるエンコーダモジュールを用いて,可視(未表示)位置の表現を学習する非結合オートエンコーダアーキテクチャを設計する。 さらに,2種類の情報的目標を構築し,それに対応する課題を遂行する。 1つは、各マスキング領域にコードワードを割り当てるトークン化モジュールを作成し、マスキングコードワード分類(MCC)タスクを効果的に完了させることである。

関連論文リスト

• Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
  時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。 GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。 このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:41:21Z)
• Advancing Time Series Classification with Multimodal Language Modeling [6.624754582682479]
  InstructTimeは、時系列分類を学習から生成までのパラダイムとして再形成するための新しい試みである。 中心となる考え方は、タスク固有の命令と生の時系列の両方をマルチモーダル入力として扱うマルチモーダル理解タスクとして時系列の分類を定式化することである。 ベンチマークデータセット上で大規模な実験が行われ、その結果、InstructTimeの優れたパフォーマンスが明らかになった。
  論文  参考訳（メタデータ） (2024-03-19T02:32:24Z)
• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Semi-Structured Object Sequence Encoders [9.257633944317735]
  本稿では,半構造化オブジェクト列に対する構造認識型入力表現の開発に焦点をあてる。 このタイプのデータは、時間とともにキーと値のペアの一連の配列として表されることが多い。 本稿では,まず各キーを独立に考慮し,時間とともに値の表現を符号化する2部手法を提案する。
  論文  参考訳（メタデータ） (2023-01-03T09:19:41Z)
• HyperTime: Implicit Neural Representation for Time Series [131.57172578210256]
  暗黙の神経表現(INR)は、データの正確で解像度に依存しないエンコーディングを提供する強力なツールとして最近登場した。 本稿では、INRを用いて時系列の表現を分析し、再構成精度とトレーニング収束速度の点で異なるアクティベーション関数を比較した。 本稿では,INRを利用して時系列データセット全体の圧縮潜在表現を学習するハイパーネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-08-11T14:05:51Z)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
  本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。