論文の概要: A Complete Set of Quadratic Constraints For Repeated ReLU

• arxiv url: http://arxiv.org/abs/2407.06888v1
• Date: Tue, 9 Jul 2024 14:18:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 17:47:35.262882
• Title: A Complete Set of Quadratic Constraints For Repeated ReLU
• Title（参考訳）: 繰り返しReLUのための2次制約の完全セット
• Authors: Sahel Vahedi Noori, Bin Hu, Geir Dullerud, Peter Seiler,
• Abstract要約: 本稿では、繰り返しReLUに対する2次制約(QC)の完全な集合を導出する。 完全集合のすべてのQCを満たす関数は2つしかなく、繰り返しReLUと繰り返しReLUである。 本稿では、ReLUアクティベーション機能を持つリカレントニューラルネットワークの安定性と性能を評価するために、QCの完全なセットを使用することについて説明する。
• 参考スコア（独自算出の注目度）: 2.602294505324352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper derives a complete set of quadratic constraints (QCs) for the repeated ReLU. The complete set of QCs is described by a collection of $2^{n_v}$ matrix copositivity conditions where $n_v$ is the dimension of the repeated ReLU. We also show that only two functions satisfy all QCs in our complete set: the repeated ReLU and a repeated "flipped" ReLU. Thus our complete set of QCs bounds the repeated ReLU as tight as possible up to the sign invariance inherent in quadratic forms. We derive a similar complete set of incremental QCs for repeated ReLU, which can potentially lead to less conservative Lipschitz bounds for ReLU networks than the standard LipSDP approach. Finally, we illustrate the use of the complete set of QCs to assess stability and performance for recurrent neural networks with ReLU activation functions. The stability/performance condition combines Lyapunov/dissipativity theory with the QCs for repeated ReLU. A numerical implementation is given and demonstrated via a simple example.
• Abstract（参考訳）: 本稿では、繰り返しReLUに対する2次制約(QC)の完全な集合を導出する。 QC の完全集合は、$n_v$ が繰り返し ReLU の次元であるような 2 つの行列共役条件の集合によって記述される。 また、完全集合のすべてのQCを満たす関数は、繰り返しReLUと繰り返しReLUの2つだけであることを示す。 したがって、QC の完全集合は、2次形式に固有の符号不変量まで可能な限り厳密な ReLU を束縛する。 リプシッツ境界は通常のリプシッツPDP法よりも保守的なリプシッツ境界を小さくする可能性がある。 最後に、ReLUアクティベーション機能を持つリカレントニューラルネットワークの安定性と性能を評価するために、QCの完全なセットを使用することについて説明する。 安定性/性能条件は、リアプノフ/分散理論と繰り返しReLUのためのQCを結合する。 数値的な実装は簡単な例によって与えられ、実証される。

関連論文リスト

• Stability and Performance Analysis of Discrete-Time ReLU Recurrent Neural Networks [2.602294505324352]
  本稿では、ReLUアクティベーション機能付きリカレントニューラルネットワーク(RNN)の安定性と$ell$-gein性能について述べる。 これらの条件は、リアプノフ/異方性理論と、繰り返しReLUによって満たされる二次制約(QC)を組み合わせることによって導かれる。
  論文  参考訳（メタデータ） (2024-05-08T17:30:50Z)
• Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
  最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。 我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:48:16Z)
• Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from KKT Conditions for Margin Maximization [59.038366742773164]
  ロジスティック損失の勾配流によって訓練された線形および漏洩ReLUは、KKT条件を満たすための暗黙の偏りを持つ。 本研究では、線形分類器や2層リークReLUネットワークにおいて、これらの条件の満足度が良性オーバーフィットを意味するような設定を多数確立する。
  論文  参考訳（メタデータ） (2023-03-02T18:24:26Z)
• Gradient descent provably escapes saddle points in the training of shallow ReLU networks [6.458742319938318]
  我々は、関連する力学系の結果の変種、中心安定な多様体定理を証明し、そこでは正規性要求のいくつかを緩和する。 浅部ReLUおよび漏洩ReLUネットワークに対する正方積分損失関数の臨界点の詳細な検討に基づいて、勾配降下がほとんどのサドル点を下降させることを示す。
  論文  参考訳（メタデータ） (2022-08-03T14:08:52Z)
• Approximation speed of quantized vs. unquantized ReLU neural networks and beyond [0.0]
  本稿では,ReLUニューラルネットワークを含む一般近似系について考察する。 我々は、ReLUネットワークが一様量子化可能であることを保証するために$infty$-encodabilityを使用する。 また、ReLUネットワークは、他の多くの近似系と共通の制限を共有していることを示す。
  論文  参考訳（メタデータ） (2022-05-24T07:48:12Z)
• Q-FW: A Hybrid Classical-Quantum Frank-Wolfe for Quadratic Binary Optimization [44.96576908957141]
  本稿では,量子コンピュータ上での2次線形反復問題を解くために,フランク・ウルフアルゴリズム(Q-FW)に基づく古典量子ハイブリッドフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-23T18:00:03Z)
• Controlling the Complexity and Lipschitz Constant improves polynomial nets [55.121200972539114]
  多項式ネットの結合CP分解(CCP)モデルとNested Coupled CP分解(NCP)モデルに対する新しい複雑性境界を導出する。 本研究では、6つのデータセットで実験的に評価し、モデルが逆摂動に対して頑健であるとともに精度も向上することを示す。
  論文  参考訳（メタデータ） (2022-02-10T14:54:29Z)
• Reinforcement Learning in Linear MDPs: Constant Regret and Representation Selection [136.4014229319618]
  線形構造を持つ有限水平マルコフ決定過程(MDPs)における後悔最小化における状態-作用値関数の表現の役割について検討する。 まず,線形報酬関数を持つ任意のMDPにおいて,一貫した後悔を実現するために,Universally spaning optimal features (UNISOFT) と呼ばれる表現に必要条件を導出する。
  論文  参考訳（メタデータ） (2021-10-27T22:07:08Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。