論文の概要: A Complete Set of Quadratic Constraints for Repeated ReLU and Generalizations

• arxiv url: http://arxiv.org/abs/2407.06888v2
• Date: Thu, 22 Aug 2024 16:38:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 18:56:04.266982
• Title: A Complete Set of Quadratic Constraints for Repeated ReLU and Generalizations
• Title（参考訳）: 繰り返しReLUに対する2次制約の完全集合と一般化
• Authors: Sahel Vahedi Noori, Bin Hu, Geir Dullerud, Peter Seiler,
• Abstract要約: 完全集合のすべての QC を満たす関数は2つしかなく、 ReLU の繰り返しと ReLU の反転である。 繰り返しReLUに対して、同様の完全集合の増分QCを導出する。 基本構成は、他の部分線型活性化関数に対するQCの完全集合を導出するためにも用いられる。
• 参考スコア（独自算出の注目度）: 2.602294505324352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper derives a complete set of quadratic constraints (QCs) for the repeated ReLU. The complete set of QCs is described by a collection of matrix copositivity conditions. We also show that only two functions satisfy all QCs in our complete set: the repeated ReLU and flipped ReLU. Thus our complete set of QCs bounds the repeated ReLU as tight as possible up to the sign invariance inherent in quadratic forms. We derive a similar complete set of incremental QCs for repeated ReLU, which can potentially lead to less conservative Lipschitz bounds for ReLU networks than the standard LipSDP approach. The basic constructions are also used to derive the complete sets of QCs for other piecewise linear activation functions such as leaky ReLU, MaxMin, and HouseHolder. Finally, we illustrate the use of the complete set of QCs to assess stability and performance for recurrent neural networks with ReLU activation functions. We rely on a standard copositivity relaxation to formulate the stability/performance condition as a semidefinite program. Simple examples are provided to illustrate that the complete sets of QCs and incremental QCs can yield less conservative bounds than existing sets.
• Abstract（参考訳）: 本稿では、繰り返しReLUに対する2次制約(QC)の完全な集合を導出する。 QC の完全集合は行列共役条件の集合によって記述される。 また、完備集合のすべてのQCを満たす関数は、繰り返しReLUと反転ReLUの2つしかないことも示している。 したがって、QC の完全集合は、2次形式に固有の符号不変量まで可能な限り厳密な ReLU を束縛する。 リプシッツ境界は通常のリプシッツPDP法よりも保守的なリプシッツ境界を小さくする可能性がある。 基本構成はまた、漏れやすいReLU、MaxMin、HouseHolderなどの他の部分線形活性化関数に対するQCの完全な集合を導出するためにも用いられる。 最後に、ReLUアクティベーション機能を持つリカレントニューラルネットワークの安定性と性能を評価するために、QCの完全なセットを使用することについて説明する。 半定値プログラムとして安定性/性能条件を定式化するために、標準共役緩和に依存する。 簡単な例は、QC と増分 QC の完全集合が、既存の集合よりも保守的境界を低くすることができることを示すものである。

関連論文リスト

• Stability and Performance Analysis of Discrete-Time ReLU Recurrent Neural Networks [2.602294505324352]
  本稿では、ReLUアクティベーション機能付きリカレントニューラルネットワーク(RNN)の安定性と$ell$-gein性能について述べる。 これらの条件は、リアプノフ/異方性理論と、繰り返しReLUによって満たされる二次制約(QC)を組み合わせることによって導かれる。
  論文  参考訳（メタデータ） (2024-05-08T17:30:50Z)
• Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
  最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。 我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:48:16Z)
• Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from KKT Conditions for Margin Maximization [59.038366742773164]
  ロジスティック損失の勾配流によって訓練された線形および漏洩ReLUは、KKT条件を満たすための暗黙の偏りを持つ。 本研究では、線形分類器や2層リークReLUネットワークにおいて、これらの条件の満足度が良性オーバーフィットを意味するような設定を多数確立する。
  論文  参考訳（メタデータ） (2023-03-02T18:24:26Z)
• Gradient descent provably escapes saddle points in the training of shallow ReLU networks [6.458742319938318]
  我々は、関連する力学系の結果の変種、中心安定な多様体定理を証明し、そこでは正規性要求のいくつかを緩和する。 浅部ReLUおよび漏洩ReLUネットワークに対する正方積分損失関数の臨界点の詳細な検討に基づいて、勾配降下がほとんどのサドル点を下降させることを示す。
  論文  参考訳（メタデータ） (2022-08-03T14:08:52Z)
• Approximation speed of quantized vs. unquantized ReLU neural networks and beyond [0.0]
  本稿では,ReLUニューラルネットワークを含む一般近似系について考察する。 我々は、ReLUネットワークが一様量子化可能であることを保証するために$infty$-encodabilityを使用する。 また、ReLUネットワークは、他の多くの近似系と共通の制限を共有していることを示す。
  論文  参考訳（メタデータ） (2022-05-24T07:48:12Z)
• Q-FW: A Hybrid Classical-Quantum Frank-Wolfe for Quadratic Binary Optimization [44.96576908957141]
  本稿では,量子コンピュータ上での2次線形反復問題を解くために,フランク・ウルフアルゴリズム(Q-FW)に基づく古典量子ハイブリッドフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-23T18:00:03Z)
• Controlling the Complexity and Lipschitz Constant improves polynomial nets [55.121200972539114]
  多項式ネットの結合CP分解(CCP)モデルとNested Coupled CP分解(NCP)モデルに対する新しい複雑性境界を導出する。 本研究では、6つのデータセットで実験的に評価し、モデルが逆摂動に対して頑健であるとともに精度も向上することを示す。
  論文  参考訳（メタデータ） (2022-02-10T14:54:29Z)
• Reinforcement Learning in Linear MDPs: Constant Regret and Representation Selection [136.4014229319618]
  線形構造を持つ有限水平マルコフ決定過程(MDPs)における後悔最小化における状態-作用値関数の表現の役割について検討する。 まず,線形報酬関数を持つ任意のMDPにおいて,一貫した後悔を実現するために,Universally spaning optimal features (UNISOFT) と呼ばれる表現に必要条件を導出する。
  論文  参考訳（メタデータ） (2021-10-27T22:07:08Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。