論文の概要: Sparse Deep Learning for Time Series Data: Theory and Applications
- arxiv url: http://arxiv.org/abs/2310.03243v1
- Date: Thu, 5 Oct 2023 01:26:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 19:50:50.831987
- Title: Sparse Deep Learning for Time Series Data: Theory and Applications
- Title（参考訳）: 時系列データのためのスパースディープラーニング:理論と応用
- Authors: Mingxuan Zhang, Yan Sun, and Faming Liang
- Abstract要約: 疎いディープラーニングは、ディープニューラルネットワークのパフォーマンスを改善するための一般的なテクニックとなっている。
本稿では,データを用いた疎い深層学習の理論について検討する。
提案手法は時系列データの自己回帰順序を連続的に同定できることを示す。
- 参考スコア（独自算出の注目度）: 9.878774148693575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse deep learning has become a popular technique for improving the
performance of deep neural networks in areas such as uncertainty
quantification, variable selection, and large-scale network compression.
However, most existing research has focused on problems where the observations
are independent and identically distributed (i.i.d.), and there has been little
work on the problems where the observations are dependent, such as time series
data and sequential data in natural language processing. This paper aims to
address this gap by studying the theory for sparse deep learning with dependent
data. We show that sparse recurrent neural networks (RNNs) can be consistently
estimated, and their predictions are asymptotically normally distributed under
appropriate assumptions, enabling the prediction uncertainty to be correctly
quantified. Our numerical results show that sparse deep learning outperforms
state-of-the-art methods, such as conformal predictions, in prediction
uncertainty quantification for time series data. Furthermore, our results
indicate that the proposed method can consistently identify the autoregressive
order for time series data and outperform existing methods in large-scale model
compression. Our proposed method has important practical implications in fields
such as finance, healthcare, and energy, where both accurate point estimates
and prediction uncertainty quantification are of concern.
- Abstract（参考訳）: スパースディープラーニングは、不確実性定量化、変数選択、大規模ネットワーク圧縮といった分野におけるディープニューラルネットワークの性能を向上させるための一般的な技術となっている。
しかしながら、既存のほとんどの研究は、観測が独立で同一に分散している問題(すなわち、d)に焦点を当てており、時系列データや自然言語処理におけるシーケンシャルデータなど、観測が依存している問題についてはほとんど研究されていない。
本稿では,従属データを用いたスパース深層学習の理論を研究することにより,このギャップを解消することを目的とする。
sparse recurrent neural network (rnn) を一貫して推定でき、その予測は適切な仮定の下で漸近的に分布し、予測の不確かさを正しく定量化できることを示した。
数値計算の結果,連続予測などの最先端手法よりも,時系列データに対する不確かさの予測に優れることがわかった。
さらに,提案手法は時系列データに対する自己回帰順序を一貫して同定し,大規模モデル圧縮において既存手法より優れていることを示す。
提案手法は,正確な点推定と予測の不確実性定量化の両方が懸念される金融,医療,エネルギーといった分野において重要な実践的意味を持つ。
関連論文リスト
- Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation
for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。
従来の深層学習法は時系列計算に有効であることが示されている。
本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文 参考訳（メタデータ） (2023-12-03T05:52:30Z) - Uncertainty Quantification in Deep Neural Networks through Statistical
Inference on Latent Space [0.0]
ネットワークに供給されたデータポイントの潜在空間表現を利用して予測精度を評価するアルゴリズムを開発した。
一般的に使われている手法が大半が過信である合成データセットについて述べる。
対照的に,本手法は,不正確な予測を行うようなアウト・オブ・ディストリビューション・データ・ポイントを検出できるため,アウトレーヤの自動検出に役立てることができる。
論文 参考訳（メタデータ） (2023-05-18T09:52:06Z) - Neural State-Space Models: Empirical Evaluation of Uncertainty
Quantification [0.0]
本稿では,ニューラル状態空間モデルを用いたシステム同定のための不確実性定量化に関する予備的結果を示す。
ベイズ確率的設定で学習問題をフレーム化し、ニューラルネットワークの重みと出力の後方分布を求める。
後部に基づいて,出力の信頼区間を構築し,潜在的に危険なアウト・オブ・ディストリビューション体制下でモデルの使用を効果的に診断できるサプライズ指標を定義する。
論文 参考訳（メタデータ） (2023-04-13T08:57:33Z) - Probabilistic AutoRegressive Neural Networks for Accurate Long-range
Forecasting [6.295157260756792]
確率的自己回帰ニューラルネットワーク(PARNN)について紹介する。
PARNNは、非定常性、非線形性、非調和性、長距離依存、カオスパターンを示す複雑な時系列データを扱うことができる。
本研究では,Transformers,NBeats,DeepARなどの標準統計モデル,機械学習モデル,ディープラーニングモデルに対して,PARNNの性能を評価する。
論文 参考訳（メタデータ） (2022-04-01T17:57:36Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳（メタデータ） (2022-02-07T21:37:29Z) - Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。
我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。
実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
論文 参考訳（メタデータ） (2021-05-25T14:35:46Z) - Interpretable Social Anchors for Human Trajectory Forecasting in Crowds [84.20437268671733]
本研究では,人混みの軌跡を予測できるニューラルネットワークシステムを提案する。
解釈可能なルールベースのインテントを学び、ニューラルネットワークの表現可能性を利用してシーン固有の残差をモデル化する。
私たちのアーキテクチャは、インタラクション中心のベンチマークTrajNet++でテストされています。
論文 参考訳（メタデータ） (2021-05-07T09:22:34Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Improved Predictive Deep Temporal Neural Networks with Trend Filtering [22.352437268596674]
本稿では,ディープニューラルネットワークとトレンドフィルタリングに基づく新しい予測フレームワークを提案する。
我々は,学習データをトレンドフィルタリングによって時間的に処理した場合,深部時相ニューラルネットワークの予測性能が向上することを明らかにする。
論文 参考訳（メタデータ） (2020-10-16T08:29:36Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。