論文の概要: Efficient High-Resolution Time Series Classification via Attention Kronecker Decomposition

• arxiv url: http://arxiv.org/abs/2403.04882v1
• Date: Thu, 7 Mar 2024 20:14:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 21:46:29.579301
• Title: Efficient High-Resolution Time Series Classification via Attention Kronecker Decomposition
• Title（参考訳）: アテンションクロネッカー分解による高分解能時系列分類
• Authors: Aosong Feng, Jialin Chen, Juan Garza, Brooklyn Berry, Francisco Salazar, Yifeng Gao, Rex Ying, Leandros Tassiulas
• Abstract要約: 高分解能時系列分類は、様々な領域で詳細な時間データが利用可能になるために不可欠である。 そこで我々は,Kroneckerで分解された注目を多段階の時系列処理に向けることで,新しい時系列トランスフォーマーバックボーン(KronTime)を提案する。 4つの時系列データセットによる実験は, ベースライン法と比較して, 優れた分類結果を示し, 効率が向上した。
• 参考スコア（独自算出の注目度）: 17.71968215237596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The high-resolution time series classification problem is essential due to the increasing availability of detailed temporal data in various domains. To tackle this challenge effectively, it is imperative that the state-of-the-art attention model is scalable to accommodate the growing sequence lengths typically encountered in high-resolution time series data, while also demonstrating robustness in handling the inherent noise prevalent in such datasets. To address this, we propose to hierarchically encode the long time series into multiple levels based on the interaction ranges. By capturing relationships at different levels, we can build more robust, expressive, and efficient models that are capable of capturing both short-term fluctuations and long-term trends in the data. We then propose a new time series transformer backbone (KronTime) by introducing Kronecker-decomposed attention to process such multi-level time series, which sequentially calculates attention from the lower level to the upper level. Experiments on four long time series datasets demonstrate superior classification results with improved efficiency compared to baseline methods.
• Abstract（参考訳）: 高分解能時系列分類問題は、様々な領域で詳細な時間データが利用可能になるために不可欠である。 この課題を効果的に解決するには,高分解能時系列データで典型的に発生するシーケンス長の増大に対応するために,最先端の注意モデルがスケーラブルであること,また,そのようなデータセットに共通する固有ノイズの処理における堅牢性を示すことが不可欠である。 そこで本研究では,長い時系列を対話範囲に基づいて複数のレベルに階層的にエンコードする手法を提案する。 異なるレベルで関係をキャプチャすることで、データの短期的変動と長期的傾向の両方をキャプチャできる、より堅牢で表現力のある効率的なモデルを構築することができます。 次に,クロネッカー分解した注意を,下層から上層への注意を逐次計算するマルチレベル時系列処理に導入し,新しい時系列トランスフォーマーバックボーン(krontime)を提案する。 4つの時系列データセットによる実験は, ベースライン法と比較して, 優れた分類結果が得られた。

関連論文リスト

• Introducing Spectral Attention for Long-Range Dependency in Time Series Forecasting [36.577411683455786]
  最近の線形および変圧器ベースの予測器は時系列予測において優れた性能を示している。 時系列データにおける長距離依存関係を効果的に扱うことができないという点で制約されている。 本稿では,試料間の時間的相関を保った高速かつ効果的なスペクトル注意機構を提案する。
  論文  参考訳（メタデータ） (2024-10-28T06:17:20Z)
• Rough Transformers: Lightweight Continuous-Time Sequence Modelling with Path Signatures [46.58170057001437]
  本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。 様々な時系列関連タスクにおいて、Rough Transformersはベニラアテンションよりも常に優れています。
  論文  参考訳（メタデータ） (2024-05-31T14:00:44Z)
• FAITH: Frequency-domain Attention In Two Horizons for Time Series Forecasting [13.253624747448935]
  時系列予測は、産業機器の保守、気象学、エネルギー消費、交通流、金融投資など、様々な分野で重要な役割を果たしている。 現在のディープラーニングベースの予測モデルは、予測結果と基礎的真実の間に大きな違いを示すことが多い。 本稿では、時系列をトレンドと季節成分に分解する2つのホライズンズにおける周波数領域注意モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-22T02:37:02Z)
• Multi-Scale Dilated Convolution Network for Long-Term Time Series Forecasting [17.132063819650355]
  時系列の周期と傾向を捉えるために,MSDCN(Multi Scale Dilated Convolution Network)を提案する。 指数関数的に増加する拡張と異なるカーネルサイズを持つ異なる畳み込みブロックを設計し、異なるスケールで時系列データをサンプリングする。 提案手法の有効性を検証するため,8つの長期時系列予測ベンチマークデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-05-09T02:11:01Z)
• Rough Transformers for Continuous and Efficient Time-Series Modelling [46.58170057001437]
  実世界の医療環境における時系列データは、典型的には長距離依存を示し、一様でない間隔で観察される。 本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。 Rough Transformersは、Neural ODEベースのモデルの利点を得ながら、バニラアテンションを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-03-15T13:29:45Z)
• Robust Detection of Lead-Lag Relationships in Lagged Multi-Factor Models [61.10851158749843]
  データ固有のリード-ラグ関係を発見することで、重要な洞察を得ることができる。 階層化多要素モデルにおけるリードラグ関係のロバスト検出のためのクラスタリング駆動手法を開発した。
  論文  参考訳（メタデータ） (2023-05-11T10:30:35Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Grouped self-attention mechanism for a memory-efficient Transformer [64.0125322353281]
  天気予報、電力消費、株式市場などの現実世界のタスクには、時間とともに変化するデータの予測が含まれる。 時系列データは通常、その周期的特性と時間的長期依存性のために、長いシーケンスで長い観察期間にわたって記録される。 我々はGSA(Grouped Self-Attention)とCCA(Compressed Cross-Attention)の2つの新しいモジュールを提案する。 提案モデルでは,既存の手法に匹敵する計算量と性能の低減が効果的に示された。
  論文  参考訳（メタデータ） (2022-10-02T06:58:49Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。