論文の概要: Segment, Shuffle, and Stitch: A Simple Layer for Improving Time-Series Representations

• arxiv url: http://arxiv.org/abs/2405.20082v3
• Date: Wed, 30 Oct 2024 15:18:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:24:35.469616
• Title: Segment, Shuffle, and Stitch: A Simple Layer for Improving Time-Series Representations
• Title（参考訳）: Segment, Shuffle, Stitch: 時系列表現を改善するためのシンプルなレイヤ
• Authors: Shivam Grover, Amin Jalali, Ali Etemad,
• Abstract要約: 時系列モデルにおける表現学習を改善するために,Segment, Shuffle, Stitch (S3) と呼ばれるニューラルネットワーク層を提案する。 S3は、元のシーケンスから重複しないセグメントを生成し、それらを学習方法でシャッフルすることで、そのタスクに最適である。 その結果,S3を組み込むことで,時系列分類や予測,異常検出といったタスクが大幅に改善され,特定のデータセットのパフォーマンスが最大68%向上することがわかった。
• 参考スコア（独自算出の注目度）: 21.679604468538347
• License:
• Abstract: Existing approaches for learning representations of time-series keep the temporal arrangement of the time-steps intact with the presumption that the original order is the most optimal for learning. However, non-adjacent sections of real-world time-series may have strong dependencies. Accordingly, we raise the question: Is there an alternative arrangement for time-series which could enable more effective representation learning? To address this, we propose a simple plug-and-play neural network layer called Segment, Shuffle, and Stitch (S3) designed to improve representation learning in time-series models. S3 works by creating non-overlapping segments from the original sequence and shuffling them in a learned manner that is optimal for the task at hand. It then re-attaches the shuffled segments back together and performs a learned weighted sum with the original input to capture both the newly shuffled sequence along with the original sequence. S3 is modular and can be stacked to achieve different levels of granularity, and can be added to many forms of neural architectures including CNNs or Transformers with negligible computation overhead. Through extensive experiments on several datasets and state-of-the-art baselines, we show that incorporating S3 results in significant improvements for the tasks of time-series classification, forecasting, and anomaly detection, improving performance on certain datasets by up to 68\%. We also show that S3 makes the learning more stable with a smoother training loss curve and loss landscape compared to the original baseline. The code is available at https://github.com/shivam-grover/S3-TimeSeries.
• Abstract（参考訳）: 時系列の表現を学習するための既存のアプローチでは、時間ステップの時間的配置は、元の順序が学習に最適なことを前提に、そのまま維持される。 しかし、現実の時系列の非隣接セクションには強い依存があるかもしれない。 したがって、我々は、より効果的な表現学習を可能にする、時系列の代替的なアレンジメントがあるだろうか、という疑問を提起する。 そこで我々は,Segment, Shuffle, Stitch (S3) と呼ばれる,時系列モデルにおける表現学習の改善を目的とした,シンプルなプラグアンドプレイニューラルネットワーク層を提案する。 S3は、元のシーケンスから重複しないセグメントを生成し、それらを学習方法でシャッフルすることで、手作業に最適である。 その後、シャッフルされたセグメントを再びアタッチメントし、元の入力と学習された重み付けの和を実行し、新しくシャッフルされたシーケンスと元のシーケンスの両方をキャプチャする。 S3はモジュール化されており、さまざまなレベルの粒度を達成するために積み重ねることができる。CNNやTransformerなど、計算オーバーヘッドが無視できる多くのタイプのニューラルアーキテクチャに追加することができる。 いくつかのデータセットと最先端のベースラインに関する広範な実験を通して、S3を組み込むことで、時系列分類、予測、異常検出といったタスクが大幅に改善され、特定のデータセットのパフォーマンスが最大68%向上することを示した。 また,S3では,学習のスムーズなトレーニング損失曲線と損失景観を元のベースラインと比較し,学習を安定させることを示した。 コードはhttps://github.com/shivam-grover/S3-TimeSeriesで入手できる。

関連論文リスト

• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Clustering based Point Cloud Representation Learning for 3D Analysis [80.88995099442374]
  本稿では,ポイントクラウド分析のためのクラスタリングに基づく教師付き学習手法を提案する。 現在のデファクトでシーンワイドなトレーニングパラダイムとは異なり、我々のアルゴリズムは点埋め込み空間上でクラス内のクラスタリングを行う。 我々のアルゴリズムは、有名なポイントクラウドセグメンテーションデータセットの顕著な改善を示している。
  論文  参考訳（メタデータ） (2023-07-27T03:42:12Z)
• TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders [55.00904795497786]
  トランスフォーマネットワークに基づく転送可能な時系列表現を学習するための,新しい自己教師型パラダイムであるTimeMAEを提案する。 TimeMAEは双方向符号化方式を用いて時系列の豊富な文脈表現を学習する。 新たに挿入されたマスク埋め込みによって生じる不一致を解消するため、分離されたオートエンコーダアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-03-01T08:33:16Z)
• FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
  formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
  論文  参考訳（メタデータ） (2023-02-20T07:46:14Z)
• DyG2Vec: Efficient Representation Learning for Dynamic Graphs [26.792732615703372]
  時間グラフニューラルネットワークは、時間パターンを自動的に抽出することで、帰納的表現の学習において有望な結果を示している。 時間的エッジエンコーディングとウィンドウベースのサブグラフサンプリングを利用してタスクに依存しない埋め込みを生成する。
  論文  参考訳（メタデータ） (2022-10-30T18:13:04Z)
• HyperTime: Implicit Neural Representation for Time Series [131.57172578210256]
  暗黙の神経表現(INR)は、データの正確で解像度に依存しないエンコーディングを提供する強力なツールとして最近登場した。 本稿では、INRを用いて時系列の表現を分析し、再構成精度とトレーニング収束速度の点で異なるアクティベーション関数を比較した。 本稿では,INRを利用して時系列データセット全体の圧縮潜在表現を学習するハイパーネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-08-11T14:05:51Z)
• Towards Similarity-Aware Time-Series Classification [51.2400839966489]
  時系列データマイニングの基本課題である時系列分類(TSC)について検討する。 グラフニューラルネットワーク(GNN)を用いて類似情報をモデル化するフレームワークであるSimTSCを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:14:57Z)
• Curriculum Learning for Recurrent Video Object Segmentation [2.3376061255029064]
  本研究は,繰り返しアーキテクチャの性能を著しく向上させるため,異なるスケジュールサンプリングとフレームスキップのバリエーションについて検討する。 KITTI-MOTS チャレンジのカークラスにおける結果から, 意外なことに, 逆スケジュールサンプリングの方が, 従来のフォワードよりも優れた選択肢であることが示唆された。
  論文  参考訳（メタデータ） (2020-08-15T10:51:22Z)
• Time Series Data Augmentation for Neural Networks by Time Warping with a Discriminative Teacher [17.20906062729132]
  本稿では,ガイド付きワープと呼ばれる新しい時系列データ拡張を提案する。 ガイド付きワープは動的時間ワープ(DTW)と形状DTWの要素アライメント特性を利用する。 我々は、深部畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)を用いて、2015 UCR Time Series Archiveにある85のデータセットすべてに対する手法の評価を行った。
  論文  参考訳（メタデータ） (2020-04-19T06:33:44Z)
• A Deep Structural Model for Analyzing Correlated Multivariate Time Series [11.009809732645888]
  相関した多変量時系列入力を処理できる深層学習構造時系列モデルを提案する。 モデルは、トレンド、季節性、イベントコンポーネントを明示的に学習し、抽出する。 我々は,様々な時系列データセットに関する総合的な実験を通して,そのモデルと最先端のいくつかの手法を比較した。
  論文  参考訳（メタデータ） (2020-01-02T18:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。