論文の概要: VSFormer: Value and Shape-Aware Transformer with Prior-Enhanced Self-Attention for Multivariate Time Series Classification

• arxiv url: http://arxiv.org/abs/2412.16515v1
• Date: Sat, 21 Dec 2024 07:31:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:54:07.334890
• Title: VSFormer: Value and Shape-Aware Transformer with Prior-Enhanced Self-Attention for Multivariate Time Series Classification
• Title（参考訳）: VSFormer:多変量時系列分類のための事前自己注意型値・形状認識変換器
• Authors: Wenjie Xi, Rundong Zuo, Alejandro Alvarez, Jie Zhang, Byron Choi, Jessica Lin,
• Abstract要約: 識別パターン(形状)と数値情報(値)の両方を組み込んだVSFormerを提案する。 さらに、教師付き情報から派生したクラス固有の事前情報を抽出し、位置エンコーディングを強化する。 30のUEAアーカイブデータセットに対する大規模な実験は、SOTAモデルと比較して、我々の手法の優れた性能を示す。
• 参考スコア（独自算出の注目度）: 47.92529531621406
• License:
• Abstract: Multivariate time series classification is a crucial task in data mining, attracting growing research interest due to its broad applications. While many existing methods focus on discovering discriminative patterns in time series, real-world data does not always present such patterns, and sometimes raw numerical values can also serve as discriminative features. Additionally, the recent success of Transformer models has inspired many studies. However, when applying to time series classification, the self-attention mechanisms in Transformer models could introduce classification-irrelevant features, thereby compromising accuracy. To address these challenges, we propose a novel method, VSFormer, that incorporates both discriminative patterns (shape) and numerical information (value). In addition, we extract class-specific prior information derived from supervised information to enrich the positional encoding and provide classification-oriented self-attention learning, thereby enhancing its effectiveness. Extensive experiments on all 30 UEA archived datasets demonstrate the superior performance of our method compared to SOTA models. Through ablation studies, we demonstrate the effectiveness of the improved encoding layer and the proposed self-attention mechanism. Finally, We provide a case study on a real-world time series dataset without discriminative patterns to interpret our model.
• Abstract（参考訳）: 多変量時系列分類は、データマイニングにおいて重要な課題であり、その幅広い応用のために研究の関心が高まりつつある。 既存の多くの手法は時系列における識別的パターンの発見に重点を置いているが、実世界のデータは必ずしもそのようなパターンを示さず、時に生の数値が識別的特徴として機能することもある。 さらに、最近のTransformerモデルの成功は多くの研究に影響を与えた。 しかし、時系列分類に適用する場合、トランスフォーマーモデルにおける自己認識機構は、分類非関連の特徴を導入し、精度を向上する可能性がある。 これらの課題に対処するために,識別パターン(形状)と数値情報(値)の両方を組み込んだVSFormerを提案する。 さらに、教師付き情報から派生したクラス固有の事前情報を抽出し、位置符号化を強化し、分類指向の自己意識学習を提供することにより、その効果を高める。 30のUEAアーカイブデータセットに対する大規模な実験は、SOTAモデルと比較して、我々の手法の優れた性能を示す。 アブレーション研究を通じて,改良された符号化層と提案した自己保持機構の有効性を実証した。 最後に、実世界の時系列データセットについて、モデルを解釈するための識別パターンを伴わないケーススタディを提案する。

関連論文リスト

• Data Augmentation for Multivariate Time Series Classification: An Experimental Study [1.5390962520179197]
  これらのデータセットのサイズは限られていますが、RocketとInceptionTimeモデルを使用して、13のデータセットのうち10の分類精度を向上しました。 これは、コンピュータビジョンで見られる進歩と並行して、効果的なモデルを訓練する上で、十分なデータの重要性を強調している。
  論文  参考訳（メタデータ） (2024-06-10T17:58:02Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation [3.9318191265352196]
  多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。 提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。 実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T07:07:54Z)
• PSEUDo: Interactive Pattern Search in Multivariate Time Series with Locality-Sensitive Hashing and Relevance Feedback [3.347485580830609]
  PSEUDoは、マルチトラックシーケンシャルデータにおける視覚パターンを探索するための適応的機能学習技術である。 提案アルゴリズムは,サブ線形学習と推論時間を特徴とする。 我々は,PSEUDoの効率,精度,操縦性において優位性を示す。
  論文  参考訳（メタデータ） (2021-04-30T13:00:44Z)
• Diverse Complexity Measures for Dataset Curation in Self-driving [80.55417232642124]
  トラフィックシーンの面白さを定量化する多様な基準を活用した新たなデータ選択手法を提案する。 実験の結果,提案するキュレーションパイプラインは,より汎用的で高いパフォーマンスをもたらすデータセットを選択できることが判明した。
  論文  参考訳（メタデータ） (2021-01-16T23:45:02Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Learning summary features of time series for likelihood free inference [93.08098361687722]
  時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。 以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-12-04T19:21:37Z)
• The Effectiveness of Discretization in Forecasting: An Empirical Study on Neural Time Series Models [15.281725756608981]
  ニューラル予測アーキテクチャの予測性能に及ぼすデータ入力および出力変換の影響について検討する。 バイナリ化は実値入力の正規化に比べてほぼ常に性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-05-20T15:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。