論文の概要: Uncertainty-Aware Deep Attention Recurrent Neural Network for
Heterogeneous Time Series Imputation
- arxiv url: http://arxiv.org/abs/2401.02258v1
- Date: Thu, 4 Jan 2024 13:21:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-05 15:09:50.038622
- Title: Uncertainty-Aware Deep Attention Recurrent Neural Network for
Heterogeneous Time Series Imputation
- Title（参考訳）: 不確実性を考慮した不均一時系列インプットのためのディープアテンションリカレントニューラルネットワーク
- Authors: Linglong Qian, Zina Ibrahim, Richard Dobson
- Abstract要約: 欠落は多変量時系列においてユビキタスであり、信頼できる下流分析の障害となる。
本稿では、欠落した値とその関連不確かさを共同で推定するDeep Attention Recurrent Imputation (Imputation)を提案する。
実験の結果,実世界のデータセットを用いた多様な計算タスクにおいて,SOTAを上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 0.25112747242081457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Missingness is ubiquitous in multivariate time series and poses an obstacle
to reliable downstream analysis. Although recurrent network imputation achieved
the SOTA, existing models do not scale to deep architectures that can
potentially alleviate issues arising in complex data. Moreover, imputation
carries the risk of biased estimations of the ground truth. Yet, confidence in
the imputed values is always unmeasured or computed post hoc from model output.
We propose DEep Attention Recurrent Imputation (DEARI), which jointly estimates
missing values and their associated uncertainty in heterogeneous multivariate
time series. By jointly representing feature-wise correlations and temporal
dynamics, we adopt a self attention mechanism, along with an effective residual
component, to achieve a deep recurrent neural network with good imputation
performance and stable convergence. We also leverage self-supervised metric
learning to boost performance by optimizing sample similarity. Finally, we
transform DEARI into a Bayesian neural network through a novel Bayesian
marginalization strategy to produce stochastic DEARI, which outperforms its
deterministic equivalent. Experiments show that DEARI surpasses the SOTA in
diverse imputation tasks using real-world datasets, namely air quality control,
healthcare and traffic.
- Abstract（参考訳）: 欠落は多変量時系列においてユビキタスであり、信頼できる下流分析の障害となる。
再帰的なネットワーク計算はSOTAを達成したが、既存のモデルは複雑なデータから生じる問題を軽減できるような深いアーキテクチャにスケールしない。
さらに、インプテーションは基底真理の偏りのある推定のリスクをもたらす。
しかし、インプットされた値の信頼性は常にモデル出力から計測されるか、計算される。
異種多変量時系列における欠落値とその関連不確かさを共同で推定するDeep Attention Recurrent Imputation (DEARI)を提案する。
特徴的相関と時間的ダイナミクスを共同で表現することにより,効果的な残差成分とともに自己注意機構を採用し,高いインプテーション性能と安定した収束性を有するディープリカレントニューラルネットワークを実現する。
また,サンプルの類似性を最適化することで,自己教師付きメトリック学習をパフォーマンス向上に活用した。
最後に,新たなベイズ辺縁化戦略により,deariをベイズ的ニューラルネットワークに変換し,その決定論的等価性を上回る確率的deariを生成する。
実験の結果、DEARIは空気質制御、医療、交通といった現実世界のデータセットを使用して様々な計算タスクでSOTAを上回っていることがわかった。
関連論文リスト
- Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation
for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。
従来の深層学習法は時系列計算に有効であることが示されている。
本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文 参考訳（メタデータ） (2023-12-03T05:52:30Z) - Toward Robust Uncertainty Estimation with Random Activation Functions [3.0586855806896045]
本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。
RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
論文 参考訳（メタデータ） (2023-02-28T13:17:56Z) - STING: Self-attention based Time-series Imputation Networks using GAN [4.052758394413726]
GANを用いたSING(Self-attention based Time-Series Imputation Networks)を提案する。
我々は、時系列の潜在表現を学習するために、生成的対向ネットワークと双方向リカレントニューラルネットワークを利用する。
3つの実世界のデータセットによる実験結果から、STINGは既存の最先端手法よりも計算精度が優れていることが示された。
論文 参考訳（メタデータ） (2022-09-22T06:06:56Z) - From Environmental Sound Representation to Robustness of 2D CNN Models
Against Adversarial Attacks [82.21746840893658]
本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。
DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
論文 参考訳（メタデータ） (2022-04-14T15:14:08Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳（メタデータ） (2021-10-20T06:15:45Z) - Interpretable Additive Recurrent Neural Networks For Multivariate
Clinical Time Series [4.125698836261585]
本稿では,モデル内の変数間の関係を加法的に強制することで,モデルの複雑性と精度のバランスをとるInterpretable-RNN(I-RNN)を提案する。
I-RNNは、時間内に不均一にサンプリングされ、非同期に取得され、データが欠落している臨床時系列の特徴を特に捉えている。
本研究は,院内死亡率予測のためのPhysoronet 2012 ChallengeデータセットのI-RNNモデルと,集中治療室における血行動態の介入を予測するリアルな臨床診断支援タスクについて評価する。
論文 参考訳（メタデータ） (2021-09-15T22:30:19Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳（メタデータ） (2021-02-02T06:15:15Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z) - Uncertainty-Aware Variational-Recurrent Imputation Network for Clinical
Time Series [5.485209961772906]
本稿では,命令と予測ネットワークを統一する新しい変分再帰型計算ネットワークを提案する。
具体的には,変数間の分布に基づく計算モデルと,時間的関係を利用する再帰的計算ネットワークを利用する。
論文 参考訳（メタデータ） (2020-03-02T05:12:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。