論文の概要: Deep Learning with Kernel Flow Regularization for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2109.11649v1
• Date: Thu, 23 Sep 2021 21:02:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-27 14:23:15.293251
• Title: Deep Learning with Kernel Flow Regularization for Time Series Forecasting
• Title（参考訳）: 時系列予測のためのカーネルフロー正規化によるディープラーニング
• Authors: Mahdy Shirdel, Reza Asadi, Duc Do, Micheal Hintlian
• Abstract要約: 本稿では,カーネルフロー法の時系列予測への応用を概ね紹介する。 本稿では,カーネルフローの正規化をLSTM層に適用し,オーバーフィッティング問題を回避する効果について検討する。
• 参考スコア（独自算出の注目度）: 0.20072624123275526
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Long Short-Term Memory (LSTM) neural networks have been widely used for time series forecasting problems. However, LSTMs are prone to overfitting and performance reduction during test phases. Several different regularization techniques have been shown in literature to prevent overfitting problems in neural networks. In this paper, first, we introduce application of kernel flow methods for time series forecasting in general. Afterward, we examine the effectiveness of applying kernel flow regularization on LSTM layers to avoid overfitting problems. We describe a regularization method by applying kernel flow loss function on LSTM layers. In experimental results, we show that kernel flow outperforms baseline models on time series forecasting benchmarks. We also compare the effect of dropout and kernel flow regularization techniques on LSTMs. The experimental results illustrate that kernel flow achieves similar regularization effect to dropout. It also shows that the best results is obtained using both kernel flow and dropout regularizations with early stopping on LSTM layers on some time series datasets (e.g. power-load demand forecasts).
• Abstract（参考訳）: 長期記憶(LSTM)ニューラルネットワークは時系列予測問題に広く利用されている。 しかし、LSTMはテストフェーズで過度に適合し、性能が低下する傾向にある。 ニューラルネットワークの過剰フィッティング問題を防ぐために、いくつかの異なる正規化技術が文献に示されている。 本稿では,まず,時系列予測におけるカーネルフロー手法の応用について概説する。 その後,LSTM層にカーネルフロー正規化を適用し,オーバーフィッティング問題を回避する効果を検討した。 LSTM層にカーネルフロー損失関数を適用することで正規化を行う。 実験の結果,カーネルフローは時系列予測ベンチマークでベースラインモデルを上回ることがわかった。 また、LSTMに対するドロップアウトとカーネルフロー正則化手法の効果を比較した。 実験の結果,カーネルフローはドロップアウトと同じような正規化効果を実現できることがわかった。 また、ある時系列データセット(例えば電力負荷需要予測)上のLSTM層を早期に停止させるカーネルフローとドロップアウト正規化の両方を用いて、最良の結果が得られることを示す。

関連論文リスト

• Time-Parameterized Convolutional Neural Networks for Irregularly Sampled Time Series [26.77596449192451]
  不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。 標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。 時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
  論文  参考訳（メタデータ） (2023-08-06T21:10:30Z)
• A Distance Correlation-Based Approach to Characterize the Effectiveness of Recurrent Neural Networks for Time Series Forecasting [1.9950682531209158]
  距離相関の多元的指標を用いて,RNN成分と時系列特性をリンクする手法を提案する。 RNN活性化層が時系列のラグ構造をよく学習していることを実証的に示す。 また,アクティベーション層は移動平均およびヘテロスケダティック時系列過程を適切にモデル化できないことを示す。
  論文  参考訳（メタデータ） (2023-07-28T22:32:08Z)
• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Predicting the temporal dynamics of turbulent channels through deep learning [0.0]
  最小乱流チャネル流の時間的進化を再現するニューラルネットワークの能力を評価することを目的としている。 長期記憶(LSTM)ネットワークとクープマンベースのフレームワーク(KNF)は、最小チャネルフローモードの時間ダイナミクスを予測するために訓練される。
  論文  参考訳（メタデータ） (2022-03-02T09:31:03Z)
• Rapid training of deep neural networks without skip connections or normalization layers using Deep Kernel Shaping [46.083745557823164]
  我々は、深層ネットワークに存在する主な病理組織を特定し、それらが高速にトレーニングされ、目に見えないデータに一般化されるのを防ぐ。 本稿では,ネットワークのカーネル関数の「形状」を慎重に制御することで,これらを回避する方法を示す。
  論文  参考訳（メタデータ） (2021-10-05T00:49:36Z)
• Evaluation of deep learning models for multi-step ahead time series prediction [1.3764085113103222]
  本研究では,マルチステップ先行時系列予測のための深層学習モデルの性能を比較検討する。 当社のディープラーニングメソッドは、単純なリカレントニューラルネットワーク、長期メモリ(LSTM)ネットワーク、双方向LSTM、エンコーダデコーダLSTMネットワーク、および畳み込みニューラルネットワークを妥協します。
  論文  参考訳（メタデータ） (2021-03-26T04:07:11Z)
• STaRFlow: A SpatioTemporal Recurrent Cell for Lightweight Multi-Frame Optical Flow Estimation [64.99259320624148]
  マルチフレーム光フロー推定のための軽量CNNアルゴリズムを提案する。 結果のSTaRFlowアルゴリズムは、MPI SintelとKitti2015で最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2020-07-10T17:01:34Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。