論文の概要: SAITS: Self-Attention-based Imputation for Time Series
- arxiv url: http://arxiv.org/abs/2202.08516v5
- Date: Wed, 5 Jul 2023 14:53:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-07 00:45:28.219899
- Title: SAITS: Self-Attention-based Imputation for Time Series
- Title(参考訳): SAITS: 自己注意に基づく時系列計算
- Authors: Wenjie Du, David Cote, Yan Liu
- Abstract要約: SAITSは時系列における値計算の欠落に対する自己注意機構に基づく新しい手法である。
斜めにマスキングされた2つの自己注意ブロックの重み付けされた組み合わせから、欠落した値を学ぶ。
テストの結果、SAITSは時系列計算タスクにおける最先端の手法を効率よく上回ることが示された。
- 参考スコア(独自算出の注目度): 6.321652307514677
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Missing data in time series is a pervasive problem that puts obstacles in the
way of advanced analysis. A popular solution is imputation, where the
fundamental challenge is to determine what values should be filled in. This
paper proposes SAITS, a novel method based on the self-attention mechanism for
missing value imputation in multivariate time series. Trained by a
joint-optimization approach, SAITS learns missing values from a weighted
combination of two diagonally-masked self-attention (DMSA) blocks. DMSA
explicitly captures both the temporal dependencies and feature correlations
between time steps, which improves imputation accuracy and training speed.
Meanwhile, the weighted-combination design enables SAITS to dynamically assign
weights to the learned representations from two DMSA blocks according to the
attention map and the missingness information. Extensive experiments
quantitatively and qualitatively demonstrate that SAITS outperforms the
state-of-the-art methods on the time-series imputation task efficiently and
reveal SAITS' potential to improve the learning performance of pattern
recognition models on incomplete time-series data from the real world. The code
is open source on GitHub at https://github.com/WenjieDu/SAITS.
- Abstract(参考訳): 時系列データの欠落は、高度な分析方法に障害を課す広範囲な問題である。
一般的な解決策はインプテーションであり、どの値を埋めるべきかを決めることが基本的な課題である。
本稿では,多変量時系列における値計算の欠落に対する自己注意機構に基づくSAITSを提案する。
SAITSは共同最適化アプローチによって訓練され、2つの対角行列自己注意ブロック(DMSA)の重み付け組み合わせから欠落値を学ぶ。
dmsaは、時間ステップ間の時間依存性と特徴相関の両方を明示的に捉え、インプテーション精度とトレーニング速度を改善する。
一方、重み付け合成設計では、注意マップと不足情報に基づいて、2つのDMSAブロックから学習した表現に重みを動的に割り当てることができる。
広範かつ質的な実験により,SAITSは時系列計算タスクにおける最先端手法を効率よく上回り,実世界の不完全時系列データに基づくパターン認識モデルの学習性能を向上させるためのSAITSの可能性を明らかにする。
コードはGitHubでhttps://github.com/WenjieDu/SAITSで公開されている。
関連論文リスト
- MTSCI: A Conditional Diffusion Model for Multivariate Time Series Consistent Imputation [41.681869408967586]
主要な研究課題は、どのようにインパルスの整合性を確保するか、すなわち観測値とインパルス値の整合性を確保するかである。
従来の手法は、学習プロセスを導くために、計算対象の帰納的バイアスにのみ依存する。
論文 参考訳(メタデータ) (2024-08-11T10:24:53Z) - TSI-Bench: Benchmarking Time Series Imputation [52.27004336123575]
TSI-Benchは、ディープラーニング技術を利用した時系列計算のための総合ベンチマークスイートである。
TSI-Benchパイプラインは、実験的な設定を標準化し、計算アルゴリズムの公平な評価を可能にする。
TSI-Benchは、計算目的のために時系列予測アルゴリズムを調整するための体系的なパラダイムを革新的に提供する。
論文 参考訳(メタデータ) (2024-06-18T16:07:33Z) - DeformTime: Capturing Variable Dependencies with Deformable Attention for Time Series Forecasting [0.34530027457862006]
入力空間から相関時間パターンを捕捉しようとするニューラルネットワークアーキテクチャであるDeformTimeを提案する。
これまでに確立されたベンチマークを用いて,6つのMTSデータセットに関する広範な実験を行った。
その結果,DeformTimeはMSS予測タスクの大部分にわたる従来の競合手法と比較して精度が向上することがわかった。
論文 参考訳(メタデータ) (2024-06-11T16:45:48Z) - Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。
再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。
MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
論文 参考訳(メタデータ) (2024-04-23T16:01:33Z) - Incremental Self-training for Semi-supervised Learning [56.57057576885672]
ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。
提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
論文 参考訳(メタデータ) (2024-04-14T05:02:00Z) - Graph Spatiotemporal Process for Multivariate Time Series Anomaly
Detection with Missing Values [67.76168547245237]
本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。
実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
論文 参考訳(メタデータ) (2024-01-11T10:10:16Z) - Uncertainty-Aware Deep Attention Recurrent Neural Network for
Heterogeneous Time Series Imputation [0.25112747242081457]
欠落は多変量時系列においてユビキタスであり、信頼できる下流分析の障害となる。
本稿では、欠落した値とその関連不確かさを共同で推定するDeep Attention Recurrent Imputation (Imputation)を提案する。
実験の結果,実世界のデータセットを用いた多様な計算タスクにおいて,SOTAを上回っていることがわかった。
論文 参考訳(メタデータ) (2024-01-04T13:21:11Z) - STING: Self-attention based Time-series Imputation Networks using GAN [4.052758394413726]
GANを用いたSING(Self-attention based Time-Series Imputation Networks)を提案する。
我々は、時系列の潜在表現を学習するために、生成的対向ネットワークと双方向リカレントニューラルネットワークを利用する。
3つの実世界のデータセットによる実験結果から、STINGは既存の最先端手法よりも計算精度が優れていることが示された。
論文 参考訳(メタデータ) (2022-09-22T06:06:56Z) - Self-Attention Neural Bag-of-Features [103.70855797025689]
我々は最近導入された2D-Attentionの上に構築し、注意学習方法論を再構築する。
本稿では,関連情報を強調した2次元目視マスクを学習する機能・時間的アテンション機構を提案する。
論文 参考訳(メタデータ) (2022-01-26T17:54:14Z) - Towards Similarity-Aware Time-Series Classification [51.2400839966489]
時系列データマイニングの基本課題である時系列分類(TSC)について検討する。
グラフニューラルネットワーク(GNN)を用いて類似情報をモデル化するフレームワークであるSimTSCを提案する。
論文 参考訳(メタデータ) (2022-01-05T02:14:57Z) - Temporal Dependencies in Feature Importance for Time Series Predictions [4.082348823209183]
時系列予測設定における特徴重要度を評価するためのフレームワークであるWinITを提案する。
我々は、ソリューションが時間ステップ内の機能の適切な属性をどのように改善するかを示す。
WinIT は FIT の2.47倍の性能を達成しており、実際のMIMIC の致命的課題における他の特徴的重要な手法である。
論文 参考訳(メタデータ) (2021-07-29T20:31:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。