論文の概要: What is the best RNN-cell structure for forecasting each time series behavior?

• arxiv url: http://arxiv.org/abs/2203.07844v1
• Date: Tue, 15 Mar 2022 13:00:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 13:00:54.480500
• Title: What is the best RNN-cell structure for forecasting each time series behavior?
• Title（参考訳）: 時系列の振る舞い予測に最適なRNNセル構造は何か?
• Authors: Rohaifa Khaldi, Abdellatif El Afia, Raddouane Chiheb, Siham Tabik
• Abstract要約: 本研究は,全時系列行動の包括的分類法(決定論的,ランダムウォーク,非線形,長期記憶,カオス)を提案する。 時系列の振る舞いごとに最適なRNN細胞構造についての洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.7279083473275741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is unquestionable that time series forecasting is of paramount importance in many fields. The most used machine learning models to address time series forecasting tasks are Recurrent Neural Networks (RNNs). Typically, those models are built using one of the three most popular cells, ELMAN, Long-Short Term Memory (LSTM), or Gated Recurrent Unit (GRU) cells, each cell has a different structure and implies a different computational cost. However, it is not clear why and when to use each RNN-cell structure. Actually, there is no comprehensive characterization of all the possible time series behaviors and no guidance on what RNN cell structure is the most suitable for each behavior. The objective of this study is two-fold: it presents a comprehensive taxonomy of all-time series behaviors (deterministic, random-walk, nonlinear, long-memory, and chaotic), and provides insights into the best RNN cell structure for each time series behavior. We conducted two experiments: (1) The first experiment evaluates and analyzes the role of each component in the LSTM-Vanilla cell by creating 11 variants based on one alteration in its basic architecture (removing, adding, or substituting one cell component). (2) The second experiment evaluates and analyzes the performance of 20 possible RNN-cell structures. Our results showed that the MGU-SLIM3 cell is the most recommended for deterministic and nonlinear behaviors, the MGU-SLIM2 cell is the most suitable for random-walk behavior, FB1 cell is advocated for long-memory behavior, and LSTM-SLIM1 for chaotic behavior.
• Abstract（参考訳）: 時系列予測が多くの分野において最も重要なものであることは疑いない。 時系列予測タスクに最もよく使用される機械学習モデルは、recurrent neural networks (rnn)である。 通常、これらのモデルは、ELMAN、Long-Short Term Memory (LSTM)、Gated Recurrent Unit (GRU) の3つの最も一般的なセルの1つを使って構築される。 しかし、なぜ、いつ各rnn細胞構造を使用するのかは明らかではない。 実際、全ての時系列の挙動の包括的特徴は存在せず、それぞれの行動に最も適したRNN細胞構造についてのガイダンスも存在しない。 本研究の目的は,全時系列行動(決定論的,ランダムウォーク,非線形,ロングメモリ,カオス)の包括的分類法を示し,時系列行動ごとに最適なrnn細胞構造について考察することである。 1) LSTM-Vanilla 細胞における各成分の役割を評価・解析し,その基本構造(1つの細胞成分の除去・追加・置換)に基づいて11種類の変異体を作製した。 2) 第2の実験は20個の可能なrnn細胞構造の性能を評価し解析する。 以上の結果から,MGU-SLIM3細胞は決定的および非線形行動に最も推奨され,MGU-SLIM2細胞はランダムウォーク行動に最も適しており,FB1細胞は長期記憶行動に,LSTM-SLIM1はカオス行動に最も適していることがわかった。

関連論文リスト

• scBiGNN: Bilevel Graph Representation Learning for Cell Type Classification from Single-cell RNA Sequencing Data [62.87454293046843]
  グラフニューラルネットワーク(GNN)は、セルタイプの自動分類に広く利用されている。 scBiGNNは2つのGNNモジュールから構成され、細胞型を識別する。 scBiGNNは、scRNA-seqデータから細胞型分類のための様々な方法より優れている。
  論文  参考訳（メタデータ） (2023-12-16T03:54:26Z)
• RigLSTM: Recurrent Independent Grid LSTM for Generalizable Sequence Learning [75.61681328968714]
  本稿では,対象タスクの基盤となるモジュール構造を利用するために,リカレントな独立したGrid LSTM(RigLSTM)を提案する。 本モデルでは, セル選択, 入力特徴選択, 隠れ状態選択, ソフト状態更新を採用し, より優れた一般化を実現する。
  論文  参考訳（メタデータ） (2023-11-03T07:40:06Z)
• Beam Tree Recursive Cells [54.958581892688095]
  本稿では,遅延構造誘導のためのビームサーチによる再帰ニューラルネットワーク(RvNN)の拡張を目的としたビームツリー再帰セル(BT-Cell)を提案する。 提案したモデルは, 合成データと実データの両方において, 異なる分配分割で評価する。
  論文  参考訳（メタデータ） (2023-05-31T16:20:04Z)
• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• How (Implicit) Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part II: the Multi-D Case of Two Layers with Random First Layer [2.1485350418225244]
  本稿では,ReLUアクティベーションを伴うランダム化した浅層NNの一般化挙動を,正確なマクロ解析により解析する。 RSNは、無限に多くの方向が考慮される一般化加法モデル(GAM)型回帰に対応することを示す。
  論文  参考訳（メタデータ） (2023-03-20T21:05:47Z)
• Exploring the Long-Term Generalization of Counting Behavior in RNNs [11.754328280233628]
  本稿では,LSTM,ReLU,GRUモデルの長い列上のタスク数に対する一般化について検討する。 LSTMにおける活性化関数の飽和と、ReLUizablesがカウント動作を一般化するための適切な重み設定は、標準トレーニングレギュラーでは達成されない。
  論文  参考訳（メタデータ） (2022-11-29T17:58:42Z)
• ARMA Cell: A Modular and Effective Approach for Neural Autoregressive Modeling [0.0]
  ニューラルネットワークにおける時系列モデリングのための,よりシンプルでモジュール的で効果的なアプローチであるARMAセルを紹介する。 実験の結果,提案手法は性能の点で一般的な代替手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-08-31T15:23:10Z)
• Multi-modal Self-supervised Pre-training for Regulatory Genome Across Cell Types [75.65676405302105]
  我々は、GeneBERTと呼ばれる、多モードかつ自己管理的な方法でゲノムデータを事前学習するための、単純かつ効果的なアプローチを提案する。 我々はATAC-seqデータセットで1700万のゲノム配列でモデルを事前訓練する。
  論文  参考訳（メタデータ） (2021-10-11T12:48:44Z)
• Gates Are Not What You Need in RNNs [2.6199029802346754]
  従来のセルに勝って1つのゲートを使わないResidual Recurrent Unit(RRU)と呼ばれる新しいリカレントセルを提案する。 これは残りのショートカット接続、線形変換、ReLU、正規化に基づいている。 実験の結果,RRUは従来のゲートユニットよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-08-01T19:20:34Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。