論文の概要: A Convex Parameterization of Robust Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2004.05290v2
• Date: Sat, 3 Oct 2020 08:48:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 12:40:57.748381
• Title: A Convex Parameterization of Robust Recurrent Neural Networks
• Title（参考訳）: ロバストリカレントニューラルネットワークの凸パラメータ化
• Authors: Max Revay, Ruigang Wang, Ian R. Manchester
• Abstract要約: リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャル・ツー・シーケンス・マップをモデル化するのによく用いられる非線形力学系のクラスである。 安定性とロバスト性を保証するRNNの凸集合を定式化する。
• 参考スコア（独自算出の注目度）: 3.2872586139884623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks (RNNs) are a class of nonlinear dynamical systems often used to model sequence-to-sequence maps. RNNs have excellent expressive power but lack the stability or robustness guarantees that are necessary for many applications. In this paper, we formulate convex sets of RNNs with stability and robustness guarantees. The guarantees are derived using incremental quadratic constraints and can ensure global exponential stability of all solutions, and bounds on incremental $ \ell_2 $ gain (the Lipschitz constant of the learned sequence-to-sequence mapping). Using an implicit model structure, we construct a parametrization of RNNs that is jointly convex in the model parameters and stability certificate. We prove that this model structure includes all previously-proposed convex sets of stable RNNs as special cases, and also includes all stable linear dynamical systems. We illustrate the utility of the proposed model class in the context of non-linear system identification.
• Abstract（参考訳）: リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャル・ツー・シーケンス・マップをモデル化するのによく用いられる非線形力学系のクラスである。 rnnは優れた表現力を持つが、多くのアプリケーションに必要な安定性や堅牢性保証が欠如している。 本稿では,RNNの凸集合を安定性とロバスト性保証で定式化する。 保証はインクリメンタル二次制約を用いて導出され、すべての解のグローバル指数的安定性を保証し、インクリメンタル$ \ell_2 $ gain(学習シーケンス対シーケンスマッピングのリプシッツ定数)にバウンドする。 暗黙的なモデル構造を用いて,モデルパラメータと安定性証明書を併用したrnnのパラメータ化を行う。 このモデル構造は、以前に提案された全ての安定RNNの凸集合を特別な場合として含むとともに、全ての安定線形力学系も含むことを証明している。 本稿では,非線形システム同定におけるモデルクラスの有用性について述べる。

関連論文リスト

• Unconditional stability of a recurrent neural circuit implementing divisive normalization [0.0]
  任意次元ORGaNICs回路における非条件局所安定性の顕著な特性を証明した。 ORGaNICsは、勾配のクリッピング/スケーリングなしで、時間経過によるバックプロパゲーションによって訓練できることを示す。
  論文  参考訳（メタデータ） (2024-09-27T17:46:05Z)
• PAC-Bayes Generalisation Bounds for Dynamical Systems Including Stable RNNs [11.338419403452239]
  離散時間非線形力学系の特殊クラスに対する一般化ギャップに縛られたPAC-Bayesを導出する。 提案した境界はデータセットのサイズが大きくなるにつれて0に収束する。 他の利用可能なバウンダリと異なり、派生したバウンダリは非i.d.データ(時系列)を保持しており、RNNのステップ数で成長しない。
  論文  参考訳（メタデータ） (2023-12-15T13:49:29Z)
• Second-order regression models exhibit progressive sharpening to the edge of stability [30.92413051155244]
  2次元の二次目標に対して、2階回帰モデルでは、安定性の端とわずかに異なる値に対して進行的なシャープ化を示すことを示す。 より高次元では、モデルはニューラルネットワークの特定の構造がなくても、概して同様の振る舞いを示す。
  論文  参考訳（メタデータ） (2022-10-10T17:21:20Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Controlling the Complexity and Lipschitz Constant improves polynomial nets [55.121200972539114]
  多項式ネットの結合CP分解(CCP)モデルとNested Coupled CP分解(NCP)モデルに対する新しい複雑性境界を導出する。 本研究では、6つのデータセットで実験的に評価し、モデルが逆摂動に対して頑健であるとともに精度も向上することを示す。
  論文  参考訳（メタデータ） (2022-02-10T14:54:29Z)
• Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
  ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。 本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。 この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
  論文  参考訳（メタデータ） (2021-06-28T00:14:11Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Recurrent Equilibrium Networks: Flexible Dynamic Models with Guaranteed Stability and Robustness [3.2872586139884623]
  本稿では,機械学習,システム識別,制御における再帰平衡ネットワーク(REN)を提案する。 RENはRNの二次ベクトルによって直接パラメータ化され、安定性とロバスト性はパラメータ制約なしで確保される。 また,データ駆動型非線形オブザーバの設計と安定性保証による制御への応用について述べる。
  論文  参考訳（メタデータ） (2021-04-13T05:09:41Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)
• Monotone operator equilibrium networks [97.86610752856987]
  我々はモノトン作用素の理論に基づく新しい暗黙深度モデル、モノトン演算子平衡ネットワーク(monDEQ)を開発した。 暗黙的ネットワークの平衡点の発見と単調作用素分割問題の解法との密接な関係を示す。 次に、ネットワークのパラメータ化を開発し、全ての作用素が単調であり続けることを保証し、ユニークな平衡点の存在を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:57:31Z)
• Mathematical foundations of stable RKHSs [1.52292571922932]
  再生カーネルヒルベルト空間(RKHS)は、線形システム識別にも人気を博している機械学習の鍵となる空間である。 本稿では, 安定なRKHSの構造特性について述べる。
  論文  参考訳（メタデータ） (2020-05-06T17:25:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。