論文の概要: Gated Recurrent Neural Networks with Weighted Time-Delay Feedback

• arxiv url: http://arxiv.org/abs/2212.00228v1
• Date: Thu, 1 Dec 2022 02:26:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 14:16:28.924052
• Title: Gated Recurrent Neural Networks with Weighted Time-Delay Feedback
• Title（参考訳）: 重み付き時間遅延フィードバックを用いたゲートリカレントニューラルネットワーク
• Authors: N. Benjamin Erichson and Soon Hoe Lim and Michael W. Mahoney
• Abstract要約: 重み付き時間遅延フィードバック機構を備えた新しいゲートリカレントユニット(GRU)を導入する。 我々は、$tau$-GRUが、最先端のリカレントユニットやゲート型リカレントアーキテクチャよりも早く収束し、より一般化できることを示します。
• 参考スコア（独自算出の注目度）: 59.125047512495456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel gated recurrent unit (GRU) with a weighted time-delay feedback mechanism in order to improve the modeling of long-term dependencies in sequential data. This model is a discretized version of a continuous-time formulation of a recurrent unit, where the dynamics are governed by delay differential equations (DDEs). By considering a suitable time-discretization scheme, we propose $\tau$-GRU, a discrete-time gated recurrent unit with delay. We prove the existence and uniqueness of solutions for the continuous-time model, and we demonstrate that the proposed feedback mechanism can help improve the modeling of long-term dependencies. Our empirical results show that $\tau$-GRU can converge faster and generalize better than state-of-the-art recurrent units and gated recurrent architectures on a range of tasks, including time-series classification, human activity recognition, and speech recognition.
• Abstract（参考訳）: 逐次データにおける長期依存性のモデリングを改善するため、重み付け時間遅延フィードバック機構を備えた新しいゲートリカレントユニット(GRU)を導入する。 このモデルは、リカレント単位の連続時間定式化の離散化バージョンであり、ダイナミクスは遅延微分方程式(ddes)によって制御される。 適切な時間分散化方式を考慮し、離散時間ゲート再帰単位である$\tau$-GRUを提案する。 提案するフィードバック機構が,長期依存のモデリングを改善する上で有効であることを実証する。 実験の結果,$\tau$-gruは,時系列分類,人間の行動認識,音声認識など,さまざまなタスクにおいて,最先端のリカレントユニットやゲート型リカレントアーキテクチャよりも高速に収束し,より一般化できることがわかった。

関連論文リスト

• Delayed Memory Unit: Modelling Temporal Dependency Through Delay Gate [16.4160685571157]
  リカレントニューラルネットワーク(RNN)は、時間的依存をモデル化する能力で広く認識されている。 本稿では、ゲートRNNのための新しい遅延メモリユニット(DMU)を提案する。 DMUは遅延線構造と遅延ゲートをバニラRNNに組み込み、時間的相互作用を高め、時間的信用割り当てを容易にする。
  論文  参考訳（メタデータ） (2023-10-23T14:29:48Z)
• Modeling Irregular Time Series with Continuous Recurrent Units [3.7335080869292483]
  観測時間間の不規則な時間間隔を処理するために,連続的再帰単位(CRU)を提案する。 我々はCRUがニューラル常微分方程式(neural ODE)に基づくモデルよりも不規則時系列を補間できることを示した。 また,本モデルでは,インエイジからダイナミックスを推測し,Kalmanの取得により,ノイズの多い観測結果から,有効な状態更新候補を効率よく抽出できることも示している。
  論文  参考訳（メタデータ） (2021-11-22T16:49:15Z)
• Deep Explicit Duration Switching Models for Time Series [84.33678003781908]
  状態依存型と時間依存型の両方のスイッチングダイナミクスを識別できるフレキシブルモデルを提案する。 状態依存スイッチングは、リカレントな状態-スイッチ接続によって実現される。 時間依存スイッチング動作を改善するために、明示的な期間カウント変数が使用される。
  論文  参考訳（メタデータ） (2021-10-26T17:35:21Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Consistency of mechanistic causal discovery in continuous-time using Neural ODEs [85.7910042199734]
  ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。 本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-06T08:48:02Z)
• CARRNN: A Continuous Autoregressive Recurrent Neural Network for Deep Representation Learning from Sporadic Temporal Data [1.8352113484137622]
  本稿では,散発データにおける複数の時間的特徴をモデル化するための新しい深層学習モデルを提案する。 提案モデルはCARRNNと呼ばれ、時間ラグによって変調されたニューラルネットワークを用いてエンドツーエンドにトレーニング可能な一般化された離散時間自己回帰モデルを使用する。 アルツハイマー病進行モデルおよび集中治療単位(ICU)死亡率予測のためのデータを用いて,多変量時系列回帰タスクに適用した。
  論文  参考訳（メタデータ） (2021-04-08T12:43:44Z)
• UnICORNN: A recurrent model for learning very long time dependencies [0.0]
  2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。 結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
  論文  参考訳（メタデータ） (2021-03-09T15:19:59Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。