論文の概要: Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and
(gradient) stable architecture for learning long time dependencies
- arxiv url: http://arxiv.org/abs/2010.00951v2
- Date: Sun, 14 Mar 2021 19:12:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 00:14:26.850792
- Title: Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and
(gradient) stable architecture for learning long time dependencies
- Title（参考訳）: Coupled Oscillatory Recurrent Neural Network (coRNN): 長期間の依存関係を学習するための正確で(段階的な)安定したアーキテクチャ
- Authors: T. Konstantin Rusch, Siddhartha Mishra
- Abstract要約: 本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。
提案するRNNは, 2次常微分方程式系の時間分解に基づく。
実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
- 参考スコア（独自算出の注目度）: 15.2292571922932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Circuits of biological neurons, such as in the functional parts of the brain
can be modeled as networks of coupled oscillators. Inspired by the ability of
these systems to express a rich set of outputs while keeping (gradients of)
state variables bounded, we propose a novel architecture for recurrent neural
networks. Our proposed RNN is based on a time-discretization of a system of
second-order ordinary differential equations, modeling networks of controlled
nonlinear oscillators. We prove precise bounds on the gradients of the hidden
states, leading to the mitigation of the exploding and vanishing gradient
problem for this RNN. Experiments show that the proposed RNN is comparable in
performance to the state of the art on a variety of benchmarks, demonstrating
the potential of this architecture to provide stable and accurate RNNs for
processing complex sequential data.
- Abstract（参考訳）: 脳の機能部分のような生体ニューロンの回路は、結合振動子のネットワークとしてモデル化することができる。
状態変数を(段階的に)有界に保ちながら、豊かな出力を表現できるシステムの能力に着想を得て、リカレントニューラルネットワークのための新しいアーキテクチャを提案する。
提案するRNNは,制御非線形発振器のモデリングネットワークである2次常微分方程式系の時間分解に基づく。
我々は隠れた状態の勾配の正確な境界を証明し、このrnnの爆発と消滅の勾配問題の緩和に繋がる。
実験により、提案したRNNは、様々なベンチマークにおける最先端技術に匹敵する性能を示し、複雑なシーケンシャルデータを処理するための安定かつ正確なRNNを提供するアーキテクチャの可能性を示した。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - Graph Neural Reaction Diffusion Models [14.164952387868341]
本稿では,ニューラルRDシステムに基づく反応GNNの新たなファミリーを提案する。
本稿では,RDGNNの理論的特性とその実装について論じるとともに,最先端手法の競争性能を向上させるか,提供するかを示す。
論文 参考訳（メタデータ） (2024-06-16T09:46:58Z) - Synchronized Stepwise Control of Firing and Learning Thresholds in a Spiking Randomly Connected Neural Network toward Hardware Implementation [0.0]
固有可塑性(IP)とシナプス可塑性(SP)のハードウェア指向モデルを提案する。
心電図を用いたスパイキングRNNによる時間的データ学習と異常検出のシミュレーションにより,本モデルの有効性を実証する。
論文 参考訳（メタデータ） (2024-04-26T08:26:10Z) - A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。
自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。
時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
論文 参考訳（メタデータ） (2023-01-24T08:39:20Z) - Lyapunov-Guided Representation of Recurrent Neural Network Performance [9.449520199858952]
リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、シーケンスと時系列データのためのユビキタスコンピューティングシステムである。
本稿では,RNNを力学系として扱うとともに,リアプノフスペクトル解析を用いてハイパーパラメータを高精度に相関する手法を提案する。
各種RNNアーキテクチャの研究により,AeLLEはRNNリアプノフスペクトルと精度の相関が得られた。
論文 参考訳（メタデータ） (2022-04-11T05:38:38Z) - A novel Deep Neural Network architecture for non-linear system
identification [78.69776924618505]
非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。
メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。
このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
論文 参考訳（メタデータ） (2021-06-06T10:06:07Z) - A unified framework for Hamiltonian deep neural networks [3.0934684265555052]
ディープニューラルネットワーク(DNN)のトレーニングは、重み付け最適化中に勾配を消耗させるため、難しい場合がある。
ハミルトン系の時間離散化から派生したDNNのクラスを提案する。
提案されたハミルトンのフレームワークは、限界的に安定なODEにインスパイアされた既存のネットワークを包含する以外に、新しいより表現力のあるアーキテクチャを導出することができる。
論文 参考訳（メタデータ） (2021-04-27T13:20:24Z) - UnICORNN: A recurrent model for learning very long time dependencies [0.0]
2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。
結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
論文 参考訳（メタデータ） (2021-03-09T15:19:59Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-06-22T08:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。