論文の概要: Attention Augmented Convolutional Transformer for Tabular Time-series

• arxiv url: http://arxiv.org/abs/2110.01825v1
• Date: Tue, 5 Oct 2021 05:20:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 23:02:16.195377
• Title: Attention Augmented Convolutional Transformer for Tabular Time-series
• Title（参考訳）: タブラリ時系列に対する注意増強畳み込み変換器
• Authors: Sharath M Shankaranarayana and Davor Runje
• Abstract要約: 時系列分類は、産業データ科学において最も頻繁に実行されるタスクの1つである。 時系列データから表現を学習するための新しいスケーラブルアーキテクチャを提案する。 提案するモデルはエンドツーエンドで,カテゴリ型と連続型の両方の値入力を処理できる。
• 参考スコア（独自算出の注目度）: 0.9137554315375922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time-series classification is one of the most frequently performed tasks in industrial data science, and one of the most widely used data representation in the industrial setting is tabular representation. In this work, we propose a novel scalable architecture for learning representations from tabular time-series data and subsequently performing downstream tasks such as time-series classification. The representation learning framework is end-to-end, akin to bidirectional encoder representations from transformers (BERT) in language modeling, however, we introduce novel masking technique suitable for pretraining of time-series data. Additionally, we also use one-dimensional convolutions augmented with transformers and explore their effectiveness, since the time-series datasets lend themselves naturally for one-dimensional convolutions. We also propose a novel timestamp embedding technique, which helps in handling both periodic cycles at different time granularity levels, and aperiodic trends present in the time-series data. Our proposed model is end-to-end and can handle both categorical and continuous valued inputs, and does not require any quantization or encoding of continuous features.
• Abstract（参考訳）: 時系列分類は、産業データサイエンスにおいて最も頻繁に実行されるタスクの1つであり、産業環境で最も広く使われているデータ表現の1つは表表現である。 本研究では,表形式の時系列データから表現を学習し,その後時系列分類などの下流タスクを実行するための,スケーラブルなアーキテクチャを提案する。 表現学習フレームワークは、言語モデリングにおけるトランスフォーマー(bert)からの双方向エンコーダ表現に類似しているが、時系列データの事前学習に適した新しいマスク技術を導入する。 さらに、1次元の畳み込みには時系列データセットが自然に役立ち、トランスフォーマーを付加した1次元の畳み込みも使用しています。 また,周期周期周期を異なる粒度レベルで扱う新しいタイムスタンプ埋め込み手法と,時系列データに現れる非周期的傾向を扱う手法を提案する。 提案するモデルはエンドツーエンドであり,カテゴリ的および連続的な値付き入力を処理でき,連続的な特徴の量子化やエンコーディングは不要である。

関連論文リスト

• Metadata Matters for Time Series: Informative Forecasting with Transformers [70.38241681764738]
  時系列予測のためのMetaTST(Metadata-informed Time Series Transformer)を提案する。 メタデータの非構造化の性質に取り組むため、MetaTSTは、事前に設計されたテンプレートによってそれらを自然言語に形式化する。 Transformerエンコーダは、メタデータ情報によるシーケンス表現を拡張するシリーズトークンとメタデータトークンの通信に使用される。
  論文  参考訳（メタデータ） (2024-10-04T11:37:55Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• sTransformer: A Modular Approach for Extracting Inter-Sequential and Temporal Information for Time-Series Forecasting [6.434378359932152]
  既存のTransformerベースのモデルを,(1)モデル構造の変更,(2)入力データの変更の2つのタイプに分類する。 我々は、シーケンシャル情報と時間情報の両方をフルにキャプチャするSequence and Temporal Convolutional Network(STCN)を導入する$textbfsTransformer$を提案する。 我々は,線形モデルと既存予測モデルとを長期時系列予測で比較し,新たな成果を得た。
  論文  参考訳（メタデータ） (2024-08-19T06:23:41Z)
• Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
  時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。 GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。 このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:41:21Z)
• DuETT: Dual Event Time Transformer for Electronic Health Records [14.520791492631114]
  我々はDuETTアーキテクチャを紹介した。これは、時間とイベントの両タイプにまたがるように設計されたトランスフォーマーの拡張である。 DuETTは集約された入力を使用し、スパース時系列は一定長さの正規シーケンスに変換される。 本モデルでは,MIMIC-IV と PhysioNet-2012 EHR データセットを用いて,複数の下流タスクにおける最先端のディープラーニングモデルより優れています。
  論文  参考訳（メタデータ） (2023-04-25T17:47:48Z)
• TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders [55.00904795497786]
  トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。 TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。 新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-03-01T08:33:16Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• HyperTime: Implicit Neural Representation for Time Series [131.57172578210256]
  暗黙の神経表現(INR)は、データの正確で解像度に依存しないエンコーディングを提供する強力なツールとして最近登場した。 本稿では、INRを用いて時系列の表現を分析し、再構成精度とトレーニング収束速度の点で異なるアクティベーション関数を比較した。 本稿では,INRを利用して時系列データセット全体の圧縮潜在表現を学習するハイパーネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-08-11T14:05:51Z)
• Time Series is a Special Sequence: Forecasting with Sample Convolution and Interaction [9.449017120452675]
  時系列データ(英: time series)とは、時系列データの一種で、時系列で記録された観測の集合である。 既存のディープラーニング技術では、時系列解析にジェネリックシーケンスモデルを使用しており、そのユニークな性質を無視している。 本稿では,新しいニューラルネットワークアーキテクチャを提案し,時系列予測問題に適用し,時間的モデリングのための複数の解像度でサンプル畳み込みと相互作用を行う。
  論文  参考訳（メタデータ） (2021-06-17T08:15:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。