論文の概要: FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification

• arxiv url: http://arxiv.org/abs/2302.09818v1
• Date: Mon, 20 Feb 2023 07:46:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-02-21 16:18:32.644393
• Title: FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification
• Title（参考訳）: formerTime:多変量時系列分類のための階層型マルチスケール表現
• Authors: Mingyue Cheng, Qi Liu, Zhiding Liu, Zhi Li, Yucong Luo, Enhong Chen
• Abstract要約: formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
• 参考スコア（独自算出の注目度）: 53.55504611255664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning-based algorithms, e.g., convolutional networks, have significantly facilitated multivariate time series classification (MTSC) task. Nevertheless, they suffer from the limitation in modeling long-range dependence due to the nature of convolution operations. Recent advancements have shown the potential of transformers to capture long-range dependence. However, it would incur severe issues, such as fixed scale representations, temporal-invariant and quadratic time complexity, with transformers directly applicable to the MTSC task because of the distinct properties of time series data. To tackle these issues, we propose FormerTime, an hierarchical representation model for improving the classification capacity for the MTSC task. In the proposed FormerTime, we employ a hierarchical network architecture to perform multi-scale feature maps. Besides, a novel transformer encoder is further designed, in which an efficient temporal reduction attention layer and a well-informed contextual positional encoding generating strategy are developed. To sum up, FormerTime exhibits three aspects of merits: (1) learning hierarchical multi-scale representations from time series data, (2) inheriting the strength of both transformers and convolutional networks, and (3) tacking the efficiency challenges incurred by the self-attention mechanism. Extensive experiments performed on $10$ publicly available datasets from UEA archive verify the superiorities of the FormerTime compared to previous competitive baselines.
• Abstract（参考訳）: 深層学習に基づくアルゴリズム、例えば畳み込みネットワークは、多変量時系列分類(MTSC)タスクを著しく促進している。 それにもかかわらず、畳み込み操作の性質から長距離依存のモデル化の限界に苦しむ。 近年の進歩は、長距離依存を捉えるトランスフォーマーの可能性を示している。 しかし、時系列データの異なる性質のため、MTSCタスクに直接変換器を適用することで、固定スケール表現、時間不変性、二次時間複雑性などの深刻な問題が発生する。 そこで本研究では,mtscタスクの分類能力を向上させるための階層表現モデルである formertime を提案する。 提案手法では,階層型ネットワークアーキテクチャを用いてマルチスケール機能マップを実行する。 さらに、効率的な時間的減少注意層と、よく表現された文脈的位置符号化生成戦略を開発する新しいトランスフォーマーエンコーダを更に設計する。 結論として,(1)時系列データから階層的なマルチスケール表現を学習すること,(2)トランスフォーマーと畳み込みネットワークの強さを継承すること,(3)自己認識機構によって生じる効率上の課題に対処すること,の3つのメリットを示す。 uea archive の 10 ドルの公開データセットで行った広範囲な実験は、以前の競合ベースラインと比較して、前時代の優位性を検証している。

関連論文リスト

• DiTS: Multimodal Diffusion Transformers Are Time Series Forecasters [50.43534351968113]
  既存の生成時系列モデルは、時系列データの多次元特性にうまく対応していない。 動画生成にテキストガイダンスを組み込んだマルチモーダル拡散変換器に着想を得て,Diffusion Transformer for Time Series (DiTS)を提案する。
  論文  参考訳（メタデータ） (2026-02-06T10:48:13Z)
• MSTN: Fast and Efficient Multivariate Time Series Model [0.0]
  階層型マルチスケールおよびシーケンスモデリングの原理に基づいて構築された,新しいディープラーニングアーキテクチャであるMulti-scale Temporal Network(MSTN)を紹介する。 MSTNは、局所パターンのための階層的な特徴ピラミッドを構築する畳み込みエンコーダと、長距離時間依存のためのシーケンスモデリングコンポーネントを統合する。 時系列長軸予測, 計算, 分類, 一般化可能性調査における広範囲な評価は, MSTNがSOTA(コントラスト・オブ・ザ・アーティファクト)のパフォーマンスを達成することを示すものである。
  論文  参考訳（メタデータ） (2025-11-25T18:09:42Z)
• TimeFormer: Transformer with Attention Modulation Empowered by Temporal Characteristics for Time Series Forecasting [18.890651211582256]
  本研究では,その表現能力の最大化を目的として,時系列データ用に設計された新しいトランスフォーマーアーキテクチャを開発する。 時系列の特徴は,(1)過去から未来への一方向的影響,(2)時間の経過とともに崩壊する現象である。 2つの変調項(MoSA)を持つ自己保持機構が中心となるTimeFormerを提案する。
  論文  参考訳（メタデータ） (2025-10-08T06:07:30Z)
• Conv-like Scale-Fusion Time Series Transformer: A Multi-Scale Representation for Variable-Length Long Time Series [10.93942806756288]
  トランスフォーマーベースのモデルには高度な時系列タスクがあるが、特徴冗長性と限定的な一般化機能に苦慮している。 本稿では,Conv-like ScaleFusion Transformerに基づくマルチスケール表現学習フレームワークを提案する。 我々のフレームワークは,最先端手法と比較して,優れた特徴独立性,冗長性の低減,予測および分類タスクの性能向上を実現している。
  論文  参考訳（メタデータ） (2025-09-22T14:37:59Z)
• FreRA: A Frequency-Refined Augmentation for Contrastive Learning on Time Series Classification [56.925103708982164]
  周波数領域からの新たな視点を示し、ダウンストリーム分類の利点として、グローバル、独立、コンパクトの3つを識別する。 本稿では,分類タスクにおける時系列のコントラスト学習に適した,軽量で効果的な周波数補充拡張(FreRA)を提案する。 FreRAは、時系列分類、異常検出、転送学習タスクにおいて、常に10つの主要なベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-05-29T07:18:28Z)
• Decomposition-based multi-scale transformer framework for time series anomaly detection [0.9438207505148947]
  時系列異常検出のための分解(TransDe)に基づくトランスフォーマーベースのフレームワークを提案する。 時系列の各分解成分の代表的な依存関係を利用するために,マルチスケールのパッチベースのトランスフォーマーアーキテクチャを提案する。 TransDeの性能を効果的に向上するために、停止段階の戦略を持つ新しい非同期損失関数を導入した。
  論文  参考訳（メタデータ） (2025-04-19T06:47:38Z)
• Content-aware Balanced Spectrum Encoding in Masked Modeling for Time Series Classification [25.27495694566081]
  マスクド・モデリング・スキームにおけるスペクトル空間の符号化品質を最適化する補助的コンテンツ認識バランスド・デコーダ(CBD)を提案する。 CBDは一連の基本ブロックを反復し、2つの調整されたユニットのおかげで、各ブロックは徐々にマスクされた表現を洗練させることができた。
  論文  参考訳（メタデータ） (2024-12-17T14:12:20Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Rough Transformers: Lightweight Continuous-Time Sequence Modelling with Path Signatures [46.58170057001437]
  本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。 様々な時系列関連タスクにおいて、Rough Transformersはベニラアテンションよりも常に優れています。
  論文  参考訳（メタデータ） (2024-05-31T14:00:44Z)
• ConvTimeNet: A Deep Hierarchical Fully Convolutional Model for Multivariate Time Series Analysis [8.560776357590088]
  ConvTimeNetは、時系列解析のための汎用モデルとして設計された、新しい階層的完全畳み込みネットワークである。 結果は、ほとんどの状況において、有効性という点で、一貫して強いベースラインを上回りました。
  論文  参考訳（メタデータ） (2024-03-03T12:05:49Z)
• Transformer-based Video Saliency Prediction with High Temporal Dimension Decoding [12.595019348741042]
  本稿では,高テンポラル次元ネットワークデコーディング(THTDNet)を用いたトランスフォーマに基づくビデオサリエンシ予測手法を提案する。 このアーキテクチャは、DHF1KやUCFスポーツ、ハリウッド-2といった一般的なベンチマークで、マルチブランチや過剰に複雑なモデルに匹敵する性能が得られる。
  論文  参考訳（メタデータ） (2024-01-15T20:09:56Z)
• Rethinking Urban Mobility Prediction: A Super-Multivariate Time Series Forecasting Approach [71.67506068703314]
  長期の都市移動予測は、都市施設やサービスの効果的管理において重要な役割を担っている。 伝統的に、都市移動データはビデオとして構成され、経度と緯度を基本的なピクセルとして扱う。 本研究では,都市におけるモビリティ予測の新たな視点について紹介する。 都市移動データを従来のビデオデータとして単純化するのではなく、複雑な時系列と見なす。
  論文  参考訳（メタデータ） (2023-12-04T07:39:05Z)
• TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders [55.00904795497786]
  トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。 TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。 新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-03-01T08:33:16Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)
• Infomaxformer: Maximum Entropy Transformer for Long Time-Series Forecasting Problem [6.497816402045097]
  Transformerアーキテクチャは、自然言語処理(NLP)やコンピュータビジョン(CV)といった多くのタスクにおいて、最先端の結果をもたらす。 しかし、この高度な能力により、二次的な時間複雑性と高いメモリ使用量により、Transformerは長い時系列予測問題に対処できなくなる。 本稿では,エンコーダ・デコーダアーキテクチャと季節差分解を併用して,より特定の季節差部分を取得する手法を提案する。
  論文  参考訳（メタデータ） (2023-01-04T14:08:21Z)
• Cluster-Former: Clustering-based Sparse Transformer for Long-Range Dependency Encoding [90.77031668988661]
  Cluster-Formerはクラスタリングベースの新しいスパーストランスであり、チャンクされたシーケンスにまたがって注意を向ける。 提案されたフレームワークは、Sliding-Window LayerとCluster-Former Layerの2つのユニークなタイプのTransformer Layerにピボットされている。 実験によると、Cluster-Formerはいくつかの主要なQAベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-09-13T22:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。