論文の概要: Lipschitz Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2006.12070v3
• Date: Sat, 24 Apr 2021 03:31:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 05:28:46.969091
• Title: Lipschitz Recurrent Neural Networks
• Title（参考訳）: リプシッツ・リカレントニューラルネットワーク
• Authors: N.Benjamin Erichson, Omri Azencot, Alejandro Queiruga, Liam Hodgkinson, and Michael W. Mahoney
• Abstract要約: 我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 100.72827570987992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Viewing recurrent neural networks (RNNs) as continuous-time dynamical systems, we propose a recurrent unit that describes the hidden state's evolution with two parts: a well-understood linear component plus a Lipschitz nonlinearity. This particular functional form facilitates stability analysis of the long-term behavior of the recurrent unit using tools from nonlinear systems theory. In turn, this enables architectural design decisions before experimentation. Sufficient conditions for global stability of the recurrent unit are obtained, motivating a novel scheme for constructing hidden-to-hidden matrices. Our experiments demonstrate that the Lipschitz RNN can outperform existing recurrent units on a range of benchmark tasks, including computer vision, language modeling and speech prediction tasks. Finally, through Hessian-based analysis we demonstrate that our Lipschitz recurrent unit is more robust with respect to input and parameter perturbations as compared to other continuous-time RNNs.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)を連続時間力学系とみなし、よく理解された線形成分とリプシッツ非線形性という2つの部分で隠れた状態の進化を記述する。 この特別な機能形式は、非線形システム理論のツールを用いて、繰り返し単位の長期挙動の安定性解析を容易にする。 これにより、実験前にアーキテクチャ設計の決定が可能になる。 再帰単位の大域的安定のための十分条件が得られ、隠れて隠れた行列を構築するための新しいスキームが動機となる。 我々の実験は、リプシッツRNNがコンピュータビジョン、言語モデリング、音声予測タスクなど、様々なベンチマークタスクにおいて、既存の繰り返しユニットよりも優れていることを示した。 最後に,Hessian に基づく解析により,我々のリプシッツ再帰ユニットは,他の連続時間 RNN と比較して,入力およびパラメータ摂動に対してより堅牢であることを示す。

関連論文リスト

• Unconditional stability of a recurrent neural circuit implementing divisive normalization [0.0]
  任意次元ORGaNICs回路における非条件局所安定性の顕著な特性を証明した。 ORGaNICsは、勾配のクリッピング/スケーリングなしで、時間経過によるバックプロパゲーションによって訓練できることを示す。
  論文  参考訳（メタデータ） (2024-09-27T17:46:05Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Linear systems with neural network nonlinearities: Improved stability analysis via acausal Zames-Falb multipliers [0.0]
  ニューラルネットワークの非線形性を考慮した線形時間不変系のフィードバック相互干渉の安定性を離散時間で解析する。 このアプローチは、ニューラルネットワークの非線形性とフィードバック相互接続の安定性解析のための柔軟で汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2021-03-31T14:21:03Z)
• Certifying Incremental Quadratic Constraints for Neural Networks via Convex Optimization [2.388501293246858]
  我々は,関心領域上のニューラルネットワークのマップ上で漸進的二次的制約を証明するための凸プログラムを提案する。 証明書は、(ローカル)Lipschitz連続性、片側Lipschitz連続性、反転性、および収縮などのいくつかの有用な特性をキャプチャできます。
  論文  参考訳（メタデータ） (2020-12-10T21:15:00Z)
• Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies [15.2292571922932]
  本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。 提案するRNNは, 2次常微分方程式系の時間分解に基づく。 実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2020-10-02T12:35:04Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。