論文の概要: Stability and Performance Analysis of Discrete-Time ReLU Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2405.05236v3
- Date: Tue, 14 May 2024 17:53:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 18:22:42.292927
- Title: Stability and Performance Analysis of Discrete-Time ReLU Recurrent Neural Networks
- Title（参考訳）: 離散時間ReLUリカレントニューラルネットワークの安定性と性能解析
- Authors: Sahel Vahedi Noori, Bin Hu, Geir Dullerud, Peter Seiler,
- Abstract要約: 本稿では、ReLUアクティベーション機能付きリカレントニューラルネットワーク(RNN)の安定性と$ell$-gein性能について述べる。
これらの条件は、リアプノフ/異方性理論と、繰り返しReLUによって満たされる二次制約(QC)を組み合わせることによって導かれる。
- 参考スコア（独自算出の注目度）: 2.602294505324352
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents sufficient conditions for the stability and $\ell_2$-gain performance of recurrent neural networks (RNNs) with ReLU activation functions. These conditions are derived by combining Lyapunov/dissipativity theory with Quadratic Constraints (QCs) satisfied by repeated ReLUs. We write a general class of QCs for repeated RELUs using known properties for the scalar ReLU. Our stability and performance condition uses these QCs along with a "lifted" representation for the ReLU RNN. We show that the positive homogeneity property satisfied by a scalar ReLU does not expand the class of QCs for the repeated ReLU. We present examples to demonstrate the stability / performance condition and study the effect of the lifting horizon.
- Abstract（参考訳）: 本稿では、ReLUアクティベーション機能付きリカレントニューラルネットワーク(RNN)の安定性と$\ell_2$-gein性能について述べる。
これらの条件は、リアプノフ/異方性理論と、繰り返しReLUによって満たされる二次制約(QC)を組み合わせることによって導かれる。
我々は、スカラーReLUの既知の特性を用いて、繰り返しRELUに対するQCの一般的なクラスを記述する。
我々の安定性と性能条件は、これらのQCとReLU RNNの"リフト"表現を使います。
本研究では、スカラー ReLU で満たされる正の均一性は、繰り返し ReLU に対して QC のクラスを拡大しないことを示す。
本稿では, 安定/性能条件を実証し, 昇降地平線の効果について検討する。
関連論文リスト
- A Complete Set of Quadratic Constraints for Repeated ReLU and Generalizations [2.602294505324352]
完全集合のすべての QC を満たす関数は2つしかなく、 ReLU の繰り返しと ReLU の反転である。
繰り返しReLUに対して、同様の完全集合の増分QCを導出する。
基本構成は、他の部分線型活性化関数に対するQCの完全集合を導出するためにも用いられる。
論文 参考訳（メタデータ） (2024-07-09T14:18:30Z) - Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。
我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
論文 参考訳（メタデータ） (2023-05-31T18:48:16Z) - Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from
KKT Conditions for Margin Maximization [59.038366742773164]
ロジスティック損失の勾配流によって訓練された線形および漏洩ReLUは、KKT条件を満たすための暗黙の偏りを持つ。
本研究では、線形分類器や2層リークReLUネットワークにおいて、これらの条件の満足度が良性オーバーフィットを意味するような設定を多数確立する。
論文 参考訳（メタデータ） (2023-03-02T18:24:26Z) - Support Vectors and Gradient Dynamics for Implicit Bias in ReLU Networks [45.886537625951256]
単一ニューロンReLUネットワークのトレーニングにおけるパラメータ空間の勾配流れのダイナミクスについて検討する。
具体的には、ReLUネットワークにおいて、なぜ、どのようにしてReLUネットワークが一般化されるかにおいて重要な役割を果たすサポートベクトルの観点で、暗黙のバイアスを発見できる。
論文 参考訳（メタデータ） (2022-02-11T08:55:58Z) - Stability Analysis of Recurrent Neural Networks by IQC with Copositive
Mutipliers [1.345669927504424]
本稿では、積分二次制約(IQC)フレームワークを用いて、リカレントニューラルネットワーク(RNN)の安定性解析を行う。
整流線形ユニット(ReLU)は、通常、RNNの活性化関数として使用され、ReLUはその入力および出力信号に関する特定の非負性特性を持つ。
論文 参考訳（メタデータ） (2022-02-09T17:42:44Z) - ALReLU: A different approach on Leaky ReLU activation function to
improve Neural Networks Performance [0.0]
古典的ReLUアクティベーション関数(AF)はディープニューラルネットワーク(DNN)に広く応用されている
ReLUの一般的な勾配問題は、アカデミーや産業分野での応用に課題をもたらす。
LReLUの変種であるAbsolute Leaky ReLU (ALReLU) AFは、一般的な「ダイングReLU問題」を解決する代替手法として提案されている。
論文 参考訳（メタデータ） (2020-12-11T06:46:42Z) - Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。
本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
論文 参考訳（メタデータ） (2020-09-21T16:32:04Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-06-22T08:44:52Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z) - Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。
ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。
このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
論文 参考訳（メタデータ） (2020-03-02T22:15:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。