論文の概要: Large Scale Time-Series Representation Learning via Simultaneous Low and High Frequency Feature Bootstrapping

• arxiv url: http://arxiv.org/abs/2204.11291v1
• Date: Sun, 24 Apr 2022 14:39:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 01:00:53.041333
• Title: Large Scale Time-Series Representation Learning via Simultaneous Low and High Frequency Feature Bootstrapping
• Title（参考訳）: 低周波・高周波同時ブートストラップによる大規模時系列表現学習
• Authors: Vandan Gorade, Azad Singh and Deepak Mishra
• Abstract要約: 本稿では,非コントラスト型自己教師型学習手法を提案する。 提案手法は生の時系列データを入力として、モデルの2つのブランチに対して2つの異なる拡張ビューを生成する。 モデルの堅牢性を実証するために,5つの実世界の時系列データセットに関する広範な実験とアブレーション研究を行った。
• 参考スコア（独自算出の注目度）: 7.208041509247602
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Learning representation from unlabeled time series data is a challenging problem. Most existing self-supervised and unsupervised approaches in the time-series domain do not capture low and high-frequency features at the same time. Further, some of these methods employ large scale models like transformers or rely on computationally expensive techniques such as contrastive learning. To tackle these problems, we propose a non-contrastive self-supervised learning approach efficiently captures low and high-frequency time-varying features in a cost-effective manner. Our method takes raw time series data as input and creates two different augmented views for two branches of the model, by randomly sampling the augmentations from same family. Following the terminology of BYOL, the two branches are called online and target network which allows bootstrapping of the latent representation. In contrast to BYOL, where a backbone encoder is followed by multilayer perceptron (MLP) heads, the proposed model contains additional temporal convolutional network (TCN) heads. As the augmented views are passed through large kernel convolution blocks of the encoder, the subsequent combination of MLP and TCN enables an effective representation of low as well as high-frequency time-varying features due to the varying receptive fields. The two modules (MLP and TCN) act in a complementary manner. We train an online network where each module learns to predict the outcome of the respective module of target network branch. To demonstrate the robustness of our model we performed extensive experiments and ablation studies on five real-world time-series datasets. Our method achieved state-of-art performance on all five real-world datasets.
• Abstract（参考訳）: ラベルのない時系列データからの表現の学習は難しい問題である。 時系列領域における既存の自己監督的および非教師的アプローチの多くは、同時に低周波数の特徴を捉えない。 さらに、これらの方法のいくつかは、トランスフォーマーのような大規模モデルを採用するか、コントラスト学習のような計算コストの高い技術に依存している。 これらの問題に対処するために,非コントラスト型自己教師型学習手法を提案する。 本手法は, 時系列データを入力として入力し, 同一家族からランダムに増補をサンプリングすることで, モデルの2つの分岐に対して2つの異なる拡張ビューを生成する。 BYOLの用語に従い、2つのブランチはオンラインとターゲットネットワークと呼ばれ、潜在表現のブートストラップを可能にする。 BYOLとは対照的に、バックボーンエンコーダにマルチ層パーセプトロン(MLP)ヘッドが続き、提案モデルは、追加の時間畳み込みネットワーク(TCN)ヘッドを含む。 拡張ビューはエンコーダの大きなカーネル畳み込みブロックを通過するため、後続のMLPとTCNの組み合わせは、様々な受容場による低域と高周波数の時間変化の特徴を効果的に表現することができる。 2つのモジュール (MLP と TCN) は相補的に作用する。 対象ネットワークブランチの各モジュールの結果を予測するために,各モジュールが学習するオンラインネットワークをトレーニングする。 モデルの堅牢性を実証するために,5つの実世界の時系列データセットに関する広範な実験とアブレーション研究を行った。 本手法は,5つの実世界のデータセットすべてにおいて最先端のパフォーマンスを達成した。

関連論文リスト

• MFF-FTNet: Multi-scale Feature Fusion across Frequency and Temporal Domains for Time Series Forecasting [18.815152183468673]
  時系列予測は多くの分野において重要であるが、現在のディープラーニングモデルはノイズやデータの分散、複雑なパターンのキャプチャに苦労している。 本稿では,コントラスト学習とマルチスケール特徴抽出を組み合わせることで,これらの課題に対処する新しいフレームワークであるMFF-FTNetを提案する。 5つの実世界のデータセットに対する大規模な実験は、MFF-FTNetが最先端のモデルを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-11-26T12:41:42Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• Improving Efficiency of Diffusion Models via Multi-Stage Framework and Tailored Multi-Decoder Architectures [12.703947839247693]
  拡散モデルは強力な深層生成ツールとして登場し、様々な応用に優れている。 しかし、その顕著な生成性能は、遅いトレーニングとサンプリングによって妨げられている。 これは、広範囲の前方および逆拡散軌道を追跡する必要があるためである。 本稿では,これらの課題に対処するための経験的知見から着想を得た多段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T17:48:09Z)
• Parallel Learning by Multitasking Neural Networks [1.6799377888527685]
  現代の人工知能の課題は、複数のパターンを同時に学習することだ。 マルチタスク・ヘビアン・ネットワークは,このような複雑なタスクを自然に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-08-08T07:43:31Z)
• MTS2Graph: Interpretable Multivariate Time Series Classification with Temporal Evolving Graphs [1.1756822700775666]
  入力代表パターンを抽出・クラスタリングすることで時系列データを解釈する新しいフレームワークを提案する。 UCR/UEAアーカイブの8つのデータセットとHARとPAMデータセットで実験を行います。
  論文  参考訳（メタデータ） (2023-06-06T16:24:27Z)
• TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders [55.00904795497786]
  トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。 TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。 新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-03-01T08:33:16Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
  野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。 本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
  論文  参考訳（メタデータ） (2022-09-01T10:46:09Z)
• Global Filter Networks for Image Classification [90.81352483076323]
  本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。 この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-07-01T17:58:16Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)
• Conditional Mutual information-based Contrastive Loss for Financial Time Series Forecasting [12.0855096102517]
  金融時系列予測のための表現学習フレームワークを提案する。 本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-02-18T15:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。