論文の概要: CaSS: A Channel-aware Self-supervised Representation Learning Framework for Multivariate Time Series Classification

• arxiv url: http://arxiv.org/abs/2203.04298v1
• Date: Tue, 8 Mar 2022 08:36:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-10 14:20:21.646418
• Title: CaSS: A Channel-aware Self-supervised Representation Learning Framework for Multivariate Time Series Classification
• Title（参考訳）: CaSS:多変量時系列分類のためのチャネル対応自己教師型表現学習フレームワーク
• Authors: Yijiang Chen, Xiangdong Zhou, Zhen Xing, Zhidan Liu, Minyang Xu
• Abstract要約: チャネル認識型自己教師型学習フレームワークCaSSを提案する。 我々はまず,MTSの異なる時間チャネル間の複雑な関係を捉えるために,Transformer-based Channel-aware Transformer (CaT) を設計した。 第2に,提案するエンコーダを用いた自己教師型表現学習において,NTP(Next Trend Prediction)とCS(Contextual similarity)の2つの新しいプレテキストタスクを組み合わせる。
• 参考スコア（独自算出の注目度）: 4.415086501328683
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Self-supervised representation learning of Multivariate Time Series (MTS) is a challenging task and attracts increasing research interests in recent years. Many previous works focus on the pretext task of self-supervised learning and usually neglect the complex problem of MTS encoding, leading to unpromising results. In this paper, we tackle this challenge from two aspects: encoder and pretext task, and propose a unified channel-aware self-supervised learning framework CaSS. Specifically, we first design a new Transformer-based encoder Channel-aware Transformer (CaT) to capture the complex relationships between different time channels of MTS. Second, we combine two novel pretext tasks Next Trend Prediction (NTP) and Contextual Similarity (CS) for the self-supervised representation learning with our proposed encoder. Extensive experiments are conducted on several commonly used benchmark datasets. The experimental results show that our framework achieves new state-of-the-art comparing with previous self-supervised MTS representation learning methods (up to +7.70\% improvement on LSST dataset) and can be well applied to the downstream MTS classification.
• Abstract（参考訳）: 多変量時系列(MTS)の自己指導型表現学習は課題であり,近年研究関心が高まりつつある。 それまでの多くの研究は、自己教師付き学習の前提課題に焦点を合わせ、通常、MSS符号化の複雑な問題を無視し、結果が得られない。 本稿では,この課題をエンコーダとプリテキストタスクという2つの側面から解決し,チャネル認識型自己教師型学習フレームワークCaSSを提案する。 具体的には、MTSの異なる時間チャネル間の複雑な関係を捉えるために、Transformerベースのエンコーダチャネル対応トランス (CaT) を最初に設計する。 第2に,提案するエンコーダを用いた自己教師型表現学習において,NTP(Next Trend Prediction)とCS(Contextual similarity)の2つの新しいプレテキストタスクを組み合わせる。 いくつかの一般的なベンチマークデータセットで大規模な実験が行われる。 実験の結果,従来の自己教師付きmts表現学習法(lsstデータセットでは最大7.70\%改善)と比較し,下流mts分類に適用可能な新たな最先端学習を実現することができた。

関連論文リスト

• Contrast Similarity-Aware Dual-Pathway Mamba for Multivariate Time Series Node Classification [9.159556125198305]
  MTSノード分類(CS-DPMamba)のためのコントラスト類似性を考慮したデュアルパスMambaを提案する。 Fast Dynamic Time Warping (FastDTW) を用いて, MTS表現間の類似度行列を構築する。 長距離依存性と動的類似性を考慮し、正確なTSノード分類を実現した。
  論文  参考訳（メタデータ） (2024-11-19T04:32:41Z)
• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• ViTs for SITS: Vision Transformers for Satellite Image Time Series [52.012084080257544]
  ビジョン変換器(ViT)に基づく一般衛星画像時系列(SITS)処理のための完全アテンショナルモデルを提案する。 TSViTはSITSレコードを空間と時間で重複しないパッチに分割し、トークン化し、分解されたテンポロ空間エンコーダで処理する。
  論文  参考訳（メタデータ） (2023-01-12T11:33:07Z)
• MulT: An End-to-End Multitask Learning Transformer [66.52419626048115]
  我々はMulTと呼ばれるエンドツーエンドのマルチタスク学習トランスフォーマフレームワークを提案し、複数のハイレベル視覚タスクを同時に学習する。 本フレームワークは,入力画像を共有表現にエンコードし,タスク固有のトランスフォーマーベースのデコーダヘッドを用いて各視覚タスクの予測を行う。
  論文  参考訳（メタデータ） (2022-05-17T13:03:18Z)
• Large Scale Time-Series Representation Learning via Simultaneous Low and High Frequency Feature Bootstrapping [7.0064929761691745]
  本稿では,非コントラスト型自己教師型学習手法を提案する。 提案手法は生の時系列データを入力として、モデルの2つのブランチに対して2つの異なる拡張ビューを生成する。 モデルの堅牢性を実証するために,5つの実世界の時系列データセットに関する広範な実験とアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-04-24T14:39:47Z)
• Self-Promoted Supervision for Few-Shot Transformer [178.52948452353834]
  SUN(Self-promoted sUpervisioN)は視覚変換器(ViT)のための数発の学習フレームワークである SUNは、数ショットの学習データセットでViTを事前トレーニングし、各パッチトークンを導くために、個別のロケーション固有の監視を生成する。 実験によると、ViTを使ったSUNは、ViTを使った他の数発の学習フレームワークを大幅に上回っており、CNNの最先端技術よりも高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-03-14T12:53:27Z)
• SMATE: Semi-Supervised Spatio-Temporal Representation Learning on Multivariate Time Series [0.6445605125467572]
  弱いラベル付きMSSから解釈可能な時空間表現を学習するための,新しい半教師付きモデルSMATEを提案する。 UEA MTSアーカイブから22の公開データセットで学習した表現を検証する。
  論文  参考訳（メタデータ） (2021-10-01T17:59:46Z)
• Spatial-Temporal Multi-Cue Network for Continuous Sign Language Recognition [141.24314054768922]
  本稿では、視覚に基づくシーケンス学習問題を解決するために、時空間マルチキュー(STMC)ネットワークを提案する。 有効性を検証するため、3つの大規模CSLRベンチマークで実験を行った。
  論文  参考訳（メタデータ） (2020-02-08T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。