Fugu-MT 論文翻訳(概要): Self-supervised Transformer for Multivariate Clinical Time-Series with Missing Values

論文の概要: Self-supervised Transformer for Multivariate Clinical Time-Series with Missing Values

arxiv url: http://arxiv.org/abs/2107.14293v1
Date: Thu, 29 Jul 2021 19:39:39 GMT
ステータス: 処理完了
システム内更新日: 2021-08-02 21:06:46.095245
Title: Self-supervised Transformer for Multivariate Clinical Time-Series with Missing Values
Title（参考訳）: 欠落値を有する多変量臨床時系列用自己教師付き変圧器
Authors: Sindhu Tipirneni, Chandan K. Reddy
Abstract要約: 本稿ではSTraTS(Self-supervised Transformer for TimeSeries)モデルを提案する。伝統的な密度行列表現を使う代わりに、時系列を観測三重項の集合として扱う。これは、特にラベル付きデータが制限された場合、死亡予測の最先端手法よりも優れた予測性能を示す。
参考スコア（独自算出の注目度）: 7.9405251142099464
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multivariate time-series (MVTS) data are frequently observed in critical care settings and are typically characterized by excessive missingness and irregular time intervals. Existing approaches for learning representations in this domain handle such issues by either aggregation or imputation of values, which in-turn suppresses the fine-grained information and adds undesirable noise/overhead into the machine learning model. To tackle this challenge, we propose STraTS (Self-supervised Transformer for TimeSeries) model which bypasses these pitfalls by treating time-series as a set of observation triplets instead of using the traditional dense matrix representation. It employs a novel Continuous Value Embedding (CVE) technique to encode continuous time and variable values without the need for discretization. It is composed of a Transformer component with Multi-head attention layers which enables it to learn contextual triplet embeddings while avoiding problems of recurrence and vanishing gradients that occur in recurrent architectures. Many healthcare datasets also suffer from the limited availability of labeled data. Our model utilizes self-supervision by leveraging unlabeled data to learn better representations by performing time-series forecasting as a self-supervision task. Experiments on real-world multivariate clinical time-series benchmark datasets show that STraTS shows better prediction performance than state-of-the-art methods for mortality prediction, especially when labeled data is limited. Finally, we also present an interpretable version of STraTS which can identify important measurements in the time-series data.
Abstract（参考訳）: 多変量時系列(mvts)データはクリティカルケアの設定で頻繁に観測され、通常過剰な欠如と不規則な時間間隔によって特徴付けられる。このドメインにおける既存の学習表現のアプローチは、値の集約またはインプテーションによってそのような問題を処理し、インターンできめ細かい情報を抑圧し、望ましくないノイズ/オーバヘッドを機械学習モデルに追加する。この課題に取り組むために,従来の密行列表現ではなく,時系列を観測トリプレットの集合として扱うことにより,これらの落とし穴を回避できるstrats(self-supervised transformer for timeseries)モデルを提案する。離散化を必要とせず、連続時間と可変値のエンコードに新しい連続値埋め込み(cve)技術を用いる。マルチヘッドアテンションレイヤを備えたTransformerコンポーネントで構成されており、繰り返しアーキテクチャで発生する繰り返しや消失する勾配の問題を避けながら、コンテキストトリプルの埋め込みを学習することができる。多くの医療データセットもラベル付きデータの可用性の制限に悩まされている。本モデルでは,教師なしデータを利用して,自己教師ありタスクとして時系列予測を行うことで,より良い表現を学習する。実世界の多変量臨床時系列ベンチマークデータセットにおける実験は、stratsが死亡予測のための最先端の手法よりも優れた予測性能を示していることを示している。最後に,STraTSの解釈可能なバージョンを提示し,時系列データから重要な測定値を特定する。

関連論文リスト

Scalable Numerical Embeddings for Multivariate Time Series: Enhancing Healthcare Data Representation Learning [6.635084843592727]
独立トークンとして各特徴値を扱う新しいフレームワークであるSCANEを提案する。 SCANEは、異なる機能埋め込みの特性を正規化し、スケーラブルな埋め込みメカニズムを通じて表現学習を強化する。本研究は,MTSの精度の高い予測出力を実現するために,nUMerical eMbeddIng Transformer (SUMMIT) を開発した。
論文参考訳（メタデータ） (2024-05-26T13:06:45Z)
Graph Spatiotemporal Process for Multivariate Time Series Anomaly Detection with Missing Values [67.76168547245237]
本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
論文参考訳（メタデータ） (2024-01-11T10:10:16Z)
EdgeConvFormer: Dynamic Graph CNN and Transformer based Anomaly Detection in Multivariate Time Series [7.514010315664322]
本研究では,階層化されたTime2vec埋め込み,動的グラフCNN,Transformerを統合し,グローバルかつ局所的な空間時間情報を抽出する新たな異常検出手法EdgeConvFormerを提案する。実験により、EdgeConvFormerは、多変量時系列データから時空間モデリングを学習し、異なるスケールの多くの実世界のデータセットに対する最先端のアプローチよりも優れた異常検出性能を得ることができることが示された。
論文参考訳（メタデータ） (2023-12-04T08:38:54Z)
Correlation-aware Spatial-Temporal Graph Learning for Multivariate Time-series Anomaly Detection [67.60791405198063]
時系列異常検出のための相関対応時空間グラフ学習(CST-GL)を提案する。 CST-GLは、多変量時系列相関学習モジュールを介してペアの相関を明示的にキャプチャする。新規な異常スコアリング成分をCST-GLにさらに統合し、純粋に教師なしの方法で異常の度合いを推定する。
論文参考訳（メタデータ） (2023-07-17T11:04:27Z)
AnomalyBERT: Self-Supervised Transformer for Time Series Anomaly Detection using Data Degradation Scheme [0.7216399430290167]
時系列、特にラベルなしデータに対する異常検出タスクは、難しい問題である。自己教師型モデルトレーニングに適切なデータ劣化スキームを適用することで、この問題に対処する。自己認識機構に触発されて、時間的文脈を認識するトランスフォーマーベースのアーキテクチャを設計する。
論文参考訳（メタデータ） (2023-05-08T05:42:24Z)
FormerTime: Hierarchical Multi-Scale Representations for Multivariate Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。 1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文参考訳（メタデータ） (2023-02-20T07:46:14Z)
Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文参考訳（メタデータ） (2023-01-05T13:59:29Z)
STING: Self-attention based Time-series Imputation Networks using GAN [4.052758394413726]
GANを用いたSING(Self-attention based Time-Series Imputation Networks)を提案する。我々は、時系列の潜在表現を学習するために、生成的対向ネットワークと双方向リカレントニューラルネットワークを利用する。 3つの実世界のデータセットによる実験結果から、STINGは既存の最先端手法よりも計算精度が優れていることが示された。
論文参考訳（メタデータ） (2022-09-22T06:06:56Z)
Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2022-05-16T07:53:42Z)
Contrastive predictive coding for Anomaly Detection in Multi-variate Time Series Data [6.463941665276371]
本稿では,MVTSデータにおける異常検出に向けて,TRL-CPC(Contrastive Predictive Coding)を用いた時系列表現学習を提案する。まず,エンコーダ,自動回帰器,非線形変換関数を共同で最適化し,MVTSデータセットの表現を効果的に学習する。
論文参考訳（メタデータ） (2022-02-08T04:25:29Z)
TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文参考訳（メタデータ） (2022-02-07T21:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。