論文の概要: SAITS: Self-Attention-based Imputation for Time Series
- arxiv url: http://arxiv.org/abs/2202.08516v1
- Date: Thu, 17 Feb 2022 08:40:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 15:34:12.497060
- Title: SAITS: Self-Attention-based Imputation for Time Series
- Title(参考訳): SAITS: 自己注意に基づく時系列計算
- Authors: Wenjie Du, David C\^ot\'e, Yan Liu
- Abstract要約: SAITSは時系列における値計算の欠落に対する自己注意機構に基づく新しい手法である。
斜めにマスキングされた2つの自己注意ブロックの重み付けされた組み合わせから、欠落した値を学ぶ。
大規模な実験により、SAITSは時系列計算タスクにおける最先端の手法を効率よく上回ることを示した。
- 参考スコア(独自算出の注目度): 6.321652307514677
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Missing data in time series is a pervasive problem that puts obstacles in the
way of pattern recognition, especially in real-world applications. A popular
solution is imputation, where the fundamental challenge is to determine what
values should be filled in. This paper proposes SAITS, a novel method based on
the self-attention mechanism for missing value imputation in multivariate time
series. Trained by a joint-optimization approach, SAITS learns missing values
from a weighted combination of two diagonally-masked self-attention (DMSA)
blocks. DMSA explicitly captures both the temporal dependencies and feature
correlations between time steps, which improves imputation accuracy and
training speed. Meanwhile, the weighted-combination design enables SAITS to
dynamically assign weights to the learned representations from two DMSA blocks
according to the attention map and the missingness information. Extensive
experiments demonstrate that SAITS outperforms the state-of-the-art methods on
the time-series imputation task efficiently and reveal SAITS' potential to
improve the learning performance of pattern recognition models on incomplete
time-series data from the real world.
- Abstract(参考訳): 時系列におけるデータの欠如は、特に現実世界のアプリケーションにおいて、パターン認識の方法に障害をもたらす広範囲にわたる問題である。
一般的な解決策はインプテーションであり、どの値を埋めるべきかを決めることが基本的な課題である。
本稿では,多変量時系列における値計算の欠落に対する自己注意機構に基づくSAITSを提案する。
SAITSは共同最適化アプローチによって訓練され、2つの対角行列自己注意ブロック(DMSA)の重み付け組み合わせから欠落値を学ぶ。
dmsaは、時間ステップ間の時間依存性と特徴相関の両方を明示的に捉え、インプテーション精度とトレーニング速度を改善する。
一方、重み付け合成設計では、注意マップと不足情報に基づいて、2つのDMSAブロックから学習した表現に重みを動的に割り当てることができる。
実世界の不完全な時系列データを用いたパターン認識モデルの学習性能を向上させるために,saitsは時系列インプテーションタスクにおいて最先端の手法を効果的に超えていることを示す広範な実験を行った。
関連論文リスト
- Distillation Enhanced Time Series Forecasting Network with Momentum
Contrastive Learning [8.328861861105889]
長周期時系列予測のための革新的蒸留強化フレームワークであるDE-TSMCLを提案する。
具体的には、タイムスタンプをマスクするかどうかを適応的に学習する学習可能なデータ拡張機構を設計する。
そこで本研究では,時系列のサンプル間および時間内相関を探索するために,モーメントを更新したコントラスト学習タスクを提案する。
複数のタスクからモデル損失を発生させることで、下流予測タスクの効果的な表現を学習することができる。
論文 参考訳(メタデータ) (2024-01-31T12:52:10Z) - Graph Spatiotemporal Process for Multivariate Time Series Anomaly
Detection with Missing Values [67.76168547245237]
本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。
実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
論文 参考訳(メタデータ) (2024-01-11T10:10:16Z) - Uncertainty-Aware Deep Attention Recurrent Neural Network for
Heterogeneous Time Series Imputation [0.25112747242081457]
欠落は多変量時系列においてユビキタスであり、信頼できる下流分析の障害となる。
本稿では、欠落した値とその関連不確かさを共同で推定するDeep Attention Recurrent Imputation (Imputation)を提案する。
実験の結果,実世界のデータセットを用いた多様な計算タスクにおいて,SOTAを上回っていることがわかった。
論文 参考訳(メタデータ) (2024-01-04T13:21:11Z) - Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation
for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。
従来の深層学習法は時系列計算に有効であることが示されている。
本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文 参考訳(メタデータ) (2023-12-03T05:52:30Z) - Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文 参考訳(メタデータ) (2023-03-21T15:02:50Z) - STING: Self-attention based Time-series Imputation Networks using GAN [4.052758394413726]
GANを用いたSING(Self-attention based Time-Series Imputation Networks)を提案する。
我々は、時系列の潜在表現を学習するために、生成的対向ネットワークと双方向リカレントニューラルネットワークを利用する。
3つの実世界のデータセットによる実験結果から、STINGは既存の最先端手法よりも計算精度が優れていることが示された。
論文 参考訳(メタデータ) (2022-09-22T06:06:56Z) - Learning Mixtures of Linear Dynamical Systems [94.49754087817931]
そこで我々は,2段階のメタアルゴリズムを開発し,各基底構造LPSモデルを誤り$tildeO(sqrtd/T)$.sqrtd/T)まで効率的に復元する。
提案手法の有効性を検証し,数値実験による理論的研究を検証する。
論文 参考訳(メタデータ) (2022-01-26T22:26:01Z) - Self-Attention Neural Bag-of-Features [103.70855797025689]
我々は最近導入された2D-Attentionの上に構築し、注意学習方法論を再構築する。
本稿では,関連情報を強調した2次元目視マスクを学習する機能・時間的アテンション機構を提案する。
論文 参考訳(メタデータ) (2022-01-26T17:54:14Z) - Towards Similarity-Aware Time-Series Classification [51.2400839966489]
時系列データマイニングの基本課題である時系列分類(TSC)について検討する。
グラフニューラルネットワーク(GNN)を用いて類似情報をモデル化するフレームワークであるSimTSCを提案する。
論文 参考訳(メタデータ) (2022-01-05T02:14:57Z) - Temporal Dependencies in Feature Importance for Time Series Predictions [4.082348823209183]
時系列予測設定における特徴重要度を評価するためのフレームワークであるWinITを提案する。
我々は、ソリューションが時間ステップ内の機能の適切な属性をどのように改善するかを示す。
WinIT は FIT の2.47倍の性能を達成しており、実際のMIMIC の致命的課題における他の特徴的重要な手法である。
論文 参考訳(メタデータ) (2021-07-29T20:31:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。