論文の概要: Gated Transformer Networks for Multivariate Time Series Classification

• arxiv url: http://arxiv.org/abs/2103.14438v1
• Date: Fri, 26 Mar 2021 12:43:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-29 17:59:43.130173
• Title: Gated Transformer Networks for Multivariate Time Series Classification
• Title（参考訳）: 多変量時系列分類のためのGated Transformer Networks
• Authors: Minghao Liu, Shengqi Ren, Siyuan Ma, Jiahui Jiao, Yizhou Chen, Zhiguang Wang, Wei Song
• Abstract要約: Gated Transformer Networks (GTN) は時系列分類問題に対する Transformer Networks の単純な拡張である。 完全アブレーション研究を行い,13のデータセットについて包括的実験を行った。 その結果、GTNは最新のディープラーニングモデルで競合する結果を得ることができます。
• 参考スコア（独自算出の注目度）: 11.388531556672529
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning model (primarily convolutional networks and LSTM) for time series classification has been studied broadly by the community with the wide applications in different domains like healthcare, finance, industrial engineering and IoT. Meanwhile, Transformer Networks recently achieved frontier performance on various natural language processing and computer vision tasks. In this work, we explored a simple extension of the current Transformer Networks with gating, named Gated Transformer Networks (GTN) for the multivariate time series classification problem. With the gating that merges two towers of Transformer which model the channel-wise and step-wise correlations respectively, we show how GTN is naturally and effectively suitable for the multivariate time series classification task. We conduct comprehensive experiments on thirteen dataset with full ablation study. Our results show that GTN is able to achieve competing results with current state-of-the-art deep learning models. We also explored the attention map for the natural interpretability of GTN on time series modeling. Our preliminary results provide a strong baseline for the Transformer Networks on multivariate time series classification task and grounds the foundation for future research.
• Abstract（参考訳）: 時系列分類のためのディープラーニングモデル(主に畳み込みネットワークとLSTM)は、医療、金融、産業工学、IoTといったさまざまな分野の幅広い応用で、コミュニティによって広く研究されている。 一方、Transformer Networksは最近、様々な自然言語処理とコンピュータビジョンタスクにおけるフロンティア性能を達成した。 本研究では,Gated Transformer Networks (GTN) と呼ばれるゲーティング付きトランスフォーマーネットワークの簡易拡張を多変量時系列分類問題に対して検討した。 チャネルワイドとステップワイドの相関関係をモデル化したTransformerの2つのタワーをマージするゲーティングにより,GTNが自然かつ効果的に多変量時系列分類タスクに適していることを示す。 完全アブレーションによる13データセットの総合的な実験を行った。 その結果,gtnは最先端のディープラーニングモデルと競合する結果を得ることができた。 また,時系列モデリングにおけるGTNの自然な解釈可能性の注意マップについても検討した。 予備結果は,多変量時系列分類タスクに基づくTransformer Networksの強力なベースラインを提供し,今後の研究の基盤となる。

関連論文リスト

• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• U-shaped Transformer: Retain High Frequency Context in Time Series Analysis [0.5710971447109949]
  本稿では,変圧器の低域特性を考察し,その利点を取り入れようと試みる。 パッチマージと分割操作を導入し、異なるスケールの機能を抽出し、より大きなデータセットを使用してトランスフォーマーバックボーンを完全に活用する。 実験により、比較的低コストで複数のデータセットをまたいだ高度なレベルでモデルが動作できることが実証された。
  論文  参考訳（メタデータ） (2023-07-18T07:15:26Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Investigation of Network Architecture for Multimodal Head-and-Neck Tumor Segmentation [9.441769048218955]
  本研究では,トランスフォーマーを用いたマルチモーダルヘッド・アンド・腫瘍セグメンテーションのためのネットワークアーキテクチャを最近発表した。 以上の結果から,大規模構造が存在する場合や視野が大きい場合には,長距離依存関係のモデリングが有用である可能性が示唆された。 頭頸部腫瘍のような小さな構造では、畳み込みに基づくU-Netアーキテクチャは、特にトレーニングデータセットが小さく、計算資源が限られている場合、うまく機能しているように思われた。
  論文  参考訳（メタデータ） (2022-12-21T02:35:46Z)
• W-Transformers : A Wavelet-based Transformer Framework for Univariate Time Series Forecasting [7.075125892721573]
  我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。 各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-09-08T17:39:38Z)
• Transformers in Time Series: A Survey [66.50847574634726]
  時系列モデリングのためのTransformerスキームを,その強みと限界を強調して体系的にレビューする。 ネットワーク構造の観点から、トランスフォーマーに施された適応と修正を要約する。 応用の観点からは,予測,異常検出,分類などの共通タスクに基づいて時系列変換器を分類する。
  論文  参考訳（メタデータ） (2022-02-15T01:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。