論文の概要: Controlling the Complexity and Lipschitz Constant improves polynomial nets

• arxiv url: http://arxiv.org/abs/2202.05068v1
• Date: Thu, 10 Feb 2022 14:54:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-11 16:27:42.983675
• Title: Controlling the Complexity and Lipschitz Constant improves polynomial nets
• Title（参考訳）: 複雑性とリプシッツ定数の制御は多項式ネットを改善する
• Authors: Zhenyu Zhu, Fabian Latorre, Grigorios G Chrysos, Volkan Cevher
• Abstract要約: 多項式ネットの結合CP分解(CCP)モデルとNested Coupled CP分解(NCP)モデルに対する新しい複雑性境界を導出する。 本研究では、6つのデータセットで実験的に評価し、モデルが逆摂動に対して頑健であるとともに精度も向上することを示す。
• 参考スコア（独自算出の注目度）: 55.121200972539114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While the class of Polynomial Nets demonstrates comparable performance to neural networks (NN), it currently has neither theoretical generalization characterization nor robustness guarantees. To this end, we derive new complexity bounds for the set of Coupled CP-Decomposition (CCP) and Nested Coupled CP-decomposition (NCP) models of Polynomial Nets in terms of the $\ell_\infty$-operator-norm and the $\ell_2$-operator norm. In addition, we derive bounds on the Lipschitz constant for both models to establish a theoretical certificate for their robustness. The theoretical results enable us to propose a principled regularization scheme that we also evaluate experimentally in six datasets and show that it improves the accuracy as well as the robustness of the models to adversarial perturbations. We showcase how this regularization can be combined with adversarial training, resulting in further improvements.
• Abstract（参考訳）: Polynomial Netsのクラスは、ニューラルネットワーク(NN)に匹敵する性能を示しているが、理論上の一般化特性や堅牢性保証は持っていない。 この目的のために、我々は、$\ell_\infty$-operator-norm と $\ell_2$-operator norm の観点から、ポリノミアルネットの結合CP-分解(CCP)とNested Coupled CP-分解(NCP)モデルに対する新しい複雑性境界を導出する。 さらに、両方のモデルに対するリプシッツ定数のバウンダリを導出し、その堅牢性の理論的証明を確立する。 理論的には、6つのデータセットで実験的に評価し、モデルの頑健さと逆摂動に対するモデルのロバスト性を示す原理的正規化スキームを提案することができる。 この正規化と敵のトレーニングを組み合わせることで、さらなる改善が得られます。

関連論文リスト

• Weakly Convex Regularisers for Inverse Problems: Convergence of Critical Points and Primal-Dual Optimisation [12.455342327482223]
  臨界点の観点から収束正則化の一般化された定式化を提案する。 これは弱凸正規化器のクラスによって達成されることを示す。 この理論を正規化学習に適用し、入力の弱い凸ニューラルネットワークに対する普遍的な近似を証明した。
  論文  参考訳（メタデータ） (2024-02-01T22:54:45Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Certifying Ensembles: A General Certification Theory with S-Lipschitzness [128.2881318211724]
  組み立ては、一般化、不確実性推定、校正、コンセプトドリフトの効果の緩和に有用であることが示されている。 本研究では、S-Lipschitz分類器を導入し、アンサンブルの理論的堅牢性を分析することにより、リプシッツ連続性を一般化する。
  論文  参考訳（メタデータ） (2023-04-25T17:50:45Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Structural Extensions of Basis Pursuit: Guarantees on Adversarial Robustness [0.0]
  BP の安定性は以下の一般化に成り立つことを証明している。 それらの群の$ell$ノルムに基づく分類を導入し、それが正確であり、かなりのスピードアップをもたらすことを数値的に示す。
  論文  参考訳（メタデータ） (2022-05-05T09:12:07Z)
• Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
  一次元回帰問題に対する連続領域定式化を提案する。 リプシッツ定数をユーザ定義上界を用いて明示的に制御する。 いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
  論文  参考訳（メタデータ） (2021-12-27T07:03:43Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
  本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。 新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。 画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
  論文  参考訳（メタデータ） (2020-10-05T01:00:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。