論文の概要: Time Series Representation Models
- arxiv url: http://arxiv.org/abs/2405.18165v1
- Date: Tue, 28 May 2024 13:25:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 18:29:23.886042
- Title: Time Series Representation Models
- Title(参考訳): 時系列表現モデル
- Authors: Robert Leppich, Vanessa Borst, Veronika Lesch, Samuel Kounev,
- Abstract要約: 時系列解析は、そのスパース特性、高次元性、一貫性のないデータ品質のため、依然として大きな課題である。
近年のトランス技術の発展により,予測や計算能力が向上している。
イントロスペクションに基づく時系列解析のための新しいアーキテクチャ概念を提案する。
- 参考スコア(独自算出の注目度): 2.724184832774005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series analysis remains a major challenge due to its sparse characteristics, high dimensionality, and inconsistent data quality. Recent advancements in transformer-based techniques have enhanced capabilities in forecasting and imputation; however, these methods are still resource-heavy, lack adaptability, and face difficulties in integrating both local and global attributes of time series. To tackle these challenges, we propose a new architectural concept for time series analysis based on introspection. Central to this concept is the self-supervised pretraining of Time Series Representation Models (TSRMs), which once learned can be easily tailored and fine-tuned for specific tasks, such as forecasting and imputation, in an automated and resource-efficient manner. Our architecture is equipped with a flexible and hierarchical representation learning process, which is robust against missing data and outliers. It can capture and learn both local and global features of the structure, semantics, and crucial patterns of a given time series category, such as heart rate data. Our learned time series representation models can be efficiently adapted to a specific task, such as forecasting or imputation, without manual intervention. Furthermore, our architecture's design supports explainability by highlighting the significance of each input value for the task at hand. Our empirical study using four benchmark datasets shows that, compared to investigated state-of-the-art baseline methods, our architecture improves imputation and forecasting errors by up to 90.34% and 71.54%, respectively, while reducing the required trainable parameters by up to 92.43%. The source code is available at https://github.com/RobertLeppich/TSRM.
- Abstract(参考訳): 時系列解析は、そのスパース特性、高次元性、一貫性のないデータ品質のため、依然として大きな課題である。
近年のトランスフォーマー技術の発展により,予測や計算能力が向上しているが,これらの手法は依然として資源が豊富であり,適応性に欠けており,時系列の局所的属性とグローバル的属性を統合する上で困難に直面している。
これらの課題に対処するために,イントロスペクションに基づく時系列解析のための新しいアーキテクチャ概念を提案する。
この概念の中心は時系列表現モデル(TSRM)の自己教師型事前学習であり、予測や計算などの特定のタスクに対して、自動化されたリソース効率の高い方法で、一度学習すれば容易に調整および微調整が可能である。
私たちのアーキテクチャは、フレキシブルで階層的な表現学習プロセスを備えています。
心拍データなど、特定の時系列カテゴリの局所的特徴とグローバル的特徴、セマンティクス、および決定的なパターンをキャプチャして学習することができる。
学習した時系列表現モデルは、手動の介入なしに予測や計算などの特定のタスクに効率的に適応することができる。
さらに,本アーキテクチャの設計は,手元にあるタスクに対する各入力値の重要性を強調することで,説明可能性を支援する。
4つのベンチマークデータセットを用いた実証研究により、最先端のベースライン手法と比較して、我々のアーキテクチャは、必要なトレーニングパラメータを最大92.43%削減しつつ、それぞれ最大90.34%と71.54%の計算精度と予測誤差を改善していることがわかった。
ソースコードはhttps://github.com/RobertLeppich/TSRMで公開されている。
関連論文リスト
- TimeSieve: Extracting Temporal Dynamics through Information Bottlenecks [25.928077993323267]
本稿では,時系列予測における課題に対処するため,革新的な時系列予測モデルであるTimeSieveを提案する。
提案手法では,ウェーブレット変換を用いて時系列データを前処理し,パラメータの追加を必要とせずにマルチスケール機能を効果的にキャプチャする。
本研究は,時系列予測における課題に対処するためのアプローチの有効性を検証した。
論文 参考訳(メタデータ) (2024-06-07T15:58:12Z) - PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。
フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。
我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文 参考訳(メタデータ) (2024-06-04T13:51:08Z) - Chronos: Learning the Language of Time Series [79.38691251254173]
Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。
クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
論文 参考訳(メタデータ) (2024-03-12T16:53:54Z) - TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。
提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。
我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
論文 参考訳(メタデータ) (2024-01-06T06:26:49Z) - GATGPT: A Pre-trained Large Language Model with Graph Attention Network
for Spatiotemporal Imputation [19.371155159744934]
実世界の環境では、センサーの故障やデータ転送エラーなどの問題により、そのようなデータには欠落する要素がしばしば含まれる。
時間的計算の目的は、観測された時系列における固有の空間的および時間的関係を理解することによって、これらの欠落値を推定することである。
伝統的に、複雑な時間的計算は特定のアーキテクチャに依存しており、適用可能性の制限と高い計算複雑性に悩まされている。
対照的に、我々のアプローチは、事前訓練された大規模言語モデル(LLM)を複雑な時間的インプットに統合し、画期的なフレームワークであるGATGPTを導入している。
論文 参考訳(メタデータ) (2023-11-24T08:15:11Z) - MADS: Modulated Auto-Decoding SIREN for time series imputation [9.673093148930874]
我々は,暗黙のニューラル表現に基づく時系列計算のための新しい自動デコードフレームワークMADSを提案する。
実世界の2つのデータセット上で本モデルを評価し,時系列計算における最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-03T09:08:47Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳(メタデータ) (2022-02-07T21:37:29Z) - Robust Augmentation for Multivariate Time Series Classification [20.38907456958682]
カットアウト,カットミックス,ミックスアップ,ウィンドウワープの簡単な方法により,堅牢性と全体的な性能が向上することを示す。
InceptionTimeネットワークは18種類のデータセットで精度を1%から45%向上することを示す。
論文 参考訳(メタデータ) (2022-01-27T18:57:49Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-12-15T20:09:20Z) - PSEUDo: Interactive Pattern Search in Multivariate Time Series with
Locality-Sensitive Hashing and Relevance Feedback [3.347485580830609]
PSEUDoは、マルチトラックシーケンシャルデータにおける視覚パターンを探索するための適応的機能学習技術である。
提案アルゴリズムは,サブ線形学習と推論時間を特徴とする。
我々は,PSEUDoの効率,精度,操縦性において優位性を示す。
論文 参考訳(メタデータ) (2021-04-30T13:00:44Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳(メタデータ) (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。