論文の概要: Enhancing Multivariate Time Series Classifiers through Self-Attention and Relative Positioning Infusion

• arxiv url: http://arxiv.org/abs/2302.06683v1
• Date: Mon, 13 Feb 2023 20:50:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-15 17:15:24.639473
• Title: Enhancing Multivariate Time Series Classifiers through Self-Attention and Relative Positioning Infusion
• Title（参考訳）: セルフアテンションと相対ポジショニングインフュージョンによる多変量時系列分類器の強化
• Authors: Mehryar Abbasi, Parvaneh Saeedi
• Abstract要約: 時系列分類(TSC)は、多くのビジュアルコンピューティングアプリケーションにとって重要かつ困難な課題である。 本稿では,深層学習に基づくTSCアプローチを強化する2つの新しいアテンションブロックを提案する。 提案するアテンションブロックを追加することで,ベースモデルの平均精度が最大3.6%向上することを示す。
• 参考スコア（独自算出の注目度）: 4.18804572788063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time Series Classification (TSC) is an important and challenging task for many visual computing applications. Despite the extensive range of methods developed for TSC, relatively few utilized Deep Neural Networks (DNNs). In this paper, we propose two novel attention blocks (Global Temporal Attention and Temporal Pseudo-Gaussian augmented Self-Attention) that can enhance deep learning-based TSC approaches, even when such approaches are designed and optimized for a specific dataset or task. We validate this claim by evaluating multiple state-of-the-art deep learning-based TSC models on the University of East Anglia (UEA) benchmark, a standardized collection of 30 Multivariate Time Series Classification (MTSC) datasets. We show that adding the proposed attention blocks improves base models' average accuracy by up to 3.6%. Additionally, the proposed TPS block uses a new injection module to include the relative positional information in transformers. As a standalone unit with less computational complexity, it enables TPS to perform better than most of the state-of-the-art DNN-based TSC methods. The source codes for our experimental setups and proposed attention blocks are made publicly available.
• Abstract（参考訳）: 時系列分類(TSC)は多くのビジュアルコンピューティングアプリケーションにとって重要かつ困難な課題である。 TSC向けに開発された幅広い手法にもかかわらず、Deep Neural Networks (DNN) は比較的少ない。 本稿では,この手法が特定のデータセットやタスクに対して設計・最適化されている場合でも,深層学習に基づくTSCアプローチを強化することのできる2つの新しい注意ブロック(Global Temporal Attention と Temporal Pseudo-Gaussian augmented Self-Attention )を提案する。 我々は,多変量時系列分類(mtsc)データセットの標準化コレクションである東アングリア大学ベンチマーク(uea)上で,最先端のディープラーニングに基づくtscモデルを複数評価することにより,この主張を検証する。 提案する注意ブロックの追加により,ベースモデルの平均精度が最大3.6%向上することを示す。 さらに、提案したTPSブロックは、トランスに相対的な位置情報を含む新しいインジェクションモジュールを使用する。 計算複雑性の少ないスタンドアロンユニットとして、TPSは最先端のDNNベースのTSCメソッドよりもパフォーマンスがよい。 実験的なセットアップと提案する注意ブロックのソースコードが公開されています。

関連論文リスト

• DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers [34.282971510732736]
  我々は、セレクタ分類器アーキテクチャを備えた新しいDNNトレーニングおよび推論フレームワークであるDiTMoSを紹介する。 弱いモデルの合成は高い多様性を示すことができ、それらの結合は精度の上限を大幅に高めることができる。 我々は,Nucleo STM32F767ZIボード上にDiTMoSをデプロイし,人間の活動認識,キーワードスポッティング,感情認識のための時系列データセットに基づいて評価する。
  論文  参考訳（メタデータ） (2024-03-14T02:11:38Z)
• Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
  本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。 我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。 これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
  論文  参考訳（メタデータ） (2024-03-01T15:14:47Z)
• Finding Foundation Models for Time Series Classification with a PreText Task [7.197233473373693]
  本稿では,時系列分類のための事前訓練済みドメイン基盤モデルを提案する。 我々の方法論の重要な側面は、複数のデータセットにまたがる新しいプリテキストタスクである。 UCRアーカイブの実験では,この事前学習戦略が,事前学習を伴わずに従来の訓練方法よりも有意に優れていたことが示されている。
  論文  参考訳（メタデータ） (2023-11-24T15:03:55Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Dynamic Sparse Network for Time Series Classification: Learning What to "see'' [17.705879794117912]
  時系列分類のための疎接続を有する動的スパースネットワーク(DSN)を提案する。 各スパース層のカーネルはスパースであり、動的スパーストレーニングによって制約領域の下で探索することができるため、リソースコストを削減できる。
  論文  参考訳（メタデータ） (2022-12-19T20:32:27Z)
• Enhancing Transformer Efficiency for Multivariate Time Series Classification [12.128991867050487]
  本稿では,モデル効率と精度,複雑さの関係を考察する手法を提案する。 ベンチマークMSSデータセットの総合実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-03-28T03:25:19Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)
• Towards Similarity-Aware Time-Series Classification [51.2400839966489]
  時系列データマイニングの基本課題である時系列分類(TSC)について検討する。 グラフニューラルネットワーク(GNN)を用いて類似情報をモデル化するフレームワークであるSimTSCを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:14:57Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Classification of multivariate weakly-labelled time-series with attention [0.0]
  弱いラベル付き時系列は、ノイズと重大な冗長性を含む時系列である。 本稿では,サブシーケンスの文脈関連を活用し,分類精度を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2021-02-16T16:05:38Z)
• Benchmarking Multivariate Time Series Classification Algorithms [69.12151492736524]
  時系列分類(TSC)は、順序付き、実値付き、属性から離散的なターゲット変数の予測モデルを構築することを含む。 近年,従来の技術よりも大幅に改良された新しいTSCアルゴリズムが開発されている。 本稿では, 深層学習, シェープレット, 単語の袋を用いた MTSC アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T15:56:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。