論文の概要: Stability Analysis of Recurrent Neural Networks by IQC with Copositive Mutipliers

• arxiv url: http://arxiv.org/abs/2202.04592v1
• Date: Wed, 9 Feb 2022 17:42:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 16:07:29.175997
• Title: Stability Analysis of Recurrent Neural Networks by IQC with Copositive Mutipliers
• Title（参考訳）: IQCと共正乗算器によるリカレントニューラルネットワークの安定性解析
• Authors: Yoshio Ebihara and Hayato Waki and Victor Magron and Ngoc Hoang Anh Mai and Dimitri Peaucelle and Sophie Tarbouriech
• Abstract要約: 本稿では、積分二次制約(IQC)フレームワークを用いて、リカレントニューラルネットワーク(RNN)の安定性解析を行う。 整流線形ユニット(ReLU)は、通常、RNNの活性化関数として使用され、ReLUはその入力および出力信号に関する特定の非負性特性を持つ。
• 参考スコア（独自算出の注目度）: 1.345669927504424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper is concerned with the stability analysis of the recurrent neural networks (RNNs) by means of the integral quadratic constraint (IQC) framework. The rectified linear unit (ReLU) is typically employed as the activation function of the RNN, and the ReLU has specific nonnegativity properties regarding its input and output signals. Therefore, it is effective if we can derive IQC-based stability conditions with multipliers taking care of such nonnegativity properties. However, such nonnegativity (linear) properties are hardly captured by the existing multipliers defined on the positive semidefinite cone. To get around this difficulty, we loosen the standard positive semidefinite cone to the copositive cone, and employ copositive multipliers to capture the nonnegativity properties. We show that, within the framework of the IQC, we can employ copositive multipliers (or their inner approximation) together with existing multipliers such as Zames-Falb multipliers and polytopic bounding multipliers, and this directly enables us to ensure that the introduction of the copositive multipliers leads to better (no more conservative) results. We finally illustrate the effectiveness of the IQC-based stability conditions with the copositive multipliers by numerical examples.
• Abstract（参考訳）: 本稿では,iqc(integral quadratic constraints)フレームワークを用いて,リカレントニューラルネットワーク(recurrent neural networks,rnns)の安定性解析を行う。 整流線形ユニット(ReLU)は一般にRNNの活性化関数として使用され、ReLUはその入力および出力信号に関する特定の非負性特性を持つ。 したがって、そのような非負性特性を扱う乗算器でIQCに基づく安定性条件を導出できれば有効である。 しかし、そのような非負性(線型)性質は、正の半定値円錐上で定義される既存の乗算器にはほとんど捉えられない。 この困難を回避するために、正の正の半定円錐を正の錐にゆるめ、非負性特性を捉えるために正の乗数を用いる。 IQCの枠組み内では、Zames-Falb乗数やポリトープ有界乗数などの既存の乗数とともに、コ陽性乗数(あるいはその内部近似)を用いることで、コ陽性乗数の導入がより良い(より保守的な)結果をもたらすことを直接的に保証できることを示す。 最後に, iqcに基づく安定条件と共陽性乗算器の有効性を数値例で示す。

関連論文リスト

• Stability and Performance Analysis of Discrete-Time ReLU Recurrent Neural Networks [2.602294505324352]
  本稿では、ReLUアクティベーション機能付きリカレントニューラルネットワーク(RNN)の安定性と$ell$-gein性能について述べる。 これらの条件は、リアプノフ/異方性理論と、繰り返しReLUによって満たされる二次制約(QC)を組み合わせることによって導かれる。
  論文  参考訳（メタデータ） (2024-05-08T17:30:50Z)
• Local Lipschitz Constant Computation of ReLU-FNNs: Upper Bound Computation with Exactness Verification [3.021446475031579]
  本稿では, フィードフォワードニューラルネットワーク(FNN)の局所リプシッツ定数の補正線形単位(ReLU)の活性化関数を用いた計算について述べる。 ReLUの挙動を捉える乗算器を用いた標準的な手順に従うことにより、まず局所リプシッツ定数の上界問題を半定値プログラミング問題(SDP)に還元する。 本稿では,入力出力特性が元のFNNと同一である縮小順序モデルを構築する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T09:37:16Z)
• Non Commutative Convolutional Signal Models in Neural Networks: Stability to Small Deformations [111.27636893711055]
  非可換畳み込みフィルタのフィルタ特性と安定性について検討する。 この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
  論文  参考訳（メタデータ） (2023-10-05T20:27:22Z)
• Analysis of the Single Reference Coupled Cluster Method for Electronic Structure Calculations: The Full Coupled Cluster Equations [2.3271703838711972]
  本稿では,CC導関数の可逆性に基づく単一参照結合クラスタ法に対して,新しいウェルポッドネス解析を導入する。 予備的な数値実験により、我々の推定値に現れる定数は、局所的な単調性アプローチから得られる定数よりも大幅に改善されていることが示されている。
  論文  参考訳（メタデータ） (2022-12-24T17:29:43Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Controlling the Complexity and Lipschitz Constant improves polynomial nets [55.121200972539114]
  多項式ネットの結合CP分解(CCP)モデルとNested Coupled CP分解(NCP)モデルに対する新しい複雑性境界を導出する。 本研究では、6つのデータセットで実験的に評価し、モデルが逆摂動に対して頑健であるとともに精度も向上することを示す。
  論文  参考訳（メタデータ） (2022-02-10T14:54:29Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Linear systems with neural network nonlinearities: Improved stability analysis via acausal Zames-Falb multipliers [0.0]
  ニューラルネットワークの非線形性を考慮した線形時間不変系のフィードバック相互干渉の安定性を離散時間で解析する。 このアプローチは、ニューラルネットワークの非線形性とフィードバック相互接続の安定性解析のための柔軟で汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2021-03-31T14:21:03Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。