論文の概要: Multi-Neuron Unleashes Expressivity of ReLU Networks Under Convex Relaxation

• arxiv url: http://arxiv.org/abs/2410.06816v1
• Date: Wed, 9 Oct 2024 12:14:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 03:30:47.208065
• Title: Multi-Neuron Unleashes Expressivity of ReLU Networks Under Convex Relaxation
• Title（参考訳）: 凸緩和下におけるReLUネットワークのマルチニューロン圧縮性
• Authors: Yuhao Mao, Yani Zhang, Martin Vechev,
• Abstract要約: 一般的なReLUネットワークに対して,(階層的に)多重ニューロン緩和が完全な認証を提供することを示す。 我々は、ReLUネットワークの表現性は、マルチニューロン緩和下ではもはや制限されないことを示した。
• 参考スコア（独自算出の注目度）: 2.775510076780097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural work certification has established itself as a crucial tool for ensuring the robustness of neural networks. Certification methods typically rely on convex relaxations of the feasible output set to provide sound bounds. However, complete certification requires exact bounds, which strongly limits the expressivity of ReLU networks: even for the simple ``$\max$'' function in $\mathbb{R}^2$, there does not exist a ReLU network that expresses this function and can be exactly bounded by single-neuron relaxation methods. This raises the question whether there exists a convex relaxation that can provide exact bounds for general continuous piecewise linear functions in $\mathbb{R}^n$. In this work, we answer this question affirmatively by showing that (layer-wise) multi-neuron relaxation provides complete certification for general ReLU networks. Based on this novel result, we show that the expressivity of ReLU networks is no longer limited under multi-neuron relaxation. To the best of our knowledge, this is the first positive result on the completeness of convex relaxations, shedding light on the practice of certified robustness.
• Abstract（参考訳）: ニューラルワーク認定は、ニューラルネットワークの堅牢性を保証する重要なツールとして、自らを確立している。 認証法は一般に、音境界を提供するために可能な出力セットの凸緩和に依存する。 たとえ$\mathbb{R}^2$ の単純な ``$\max$'' 関数であっても、この関数を表現し、単一ニューロン緩和法で完全に有界な ReLU ネットワークは存在しない。 このことは、$\mathbb{R}^n$ の一般連続ピースワイズ線型函数に対して正確な境界を与える凸緩和が存在するかどうかという問題を提起する。 本稿では、一般的なReLUネットワークに対する(階層的な)マルチニューロン緩和が完全な認証を提供することを示すことにより、この疑問に肯定的に答える。 この新たな結果に基づき、ReLUネットワークの表現性は、マルチニューロン緩和下ではもはや制限されないことを示す。 我々の知る限りでは、これは凸緩和の完全性に対する最初の肯定的な結果であり、証明された堅牢性の実践に光を当てている。

関連論文リスト

• Convex Formulations for Training Two-Layer ReLU Neural Networks [21.88871868680998]
  非層NPハード最適化問題は、機械学習モデルにとって不可欠である。 有限幅2つのニューラルネットワークで解ける半定緩和を導入する。
  論文  参考訳（メタデータ） (2024-10-29T17:53:15Z)
• Shallow ReLU neural networks and finite elements [1.3597551064547502]
  凸ポリトープメッシュ上の一方向線形関数は、弱い意味で2層ReLUニューラルネットワークで表現できることを示す。 弱い表現に必要な2つの隠れた層のニューロンの数は、このメッシュに関わるポリトープと超平面の数に基づいて正確に与えられる。
  論文  参考訳（メタデータ） (2024-03-09T06:12:06Z)
• Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted Activations [52.031701581294804]
  ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。 このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。 提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-01-25T09:23:31Z)
• Expressivity of ReLU-Networks under Convex Relaxations [7.043624904936254]
  我々は、ReLUネットワークのすべての一般的な凸緩和における表現力に関する、最初の詳細な研究を行う。 i) より高度な緩和により、より大きなユニバリケート関数を正確に解析可能なReLUネットワークとして表現することができ、(ii) より正確な緩和により、同じ関数を符号化したReLUネットワークの指数的に大きい解空間が得られ、(iii) 最も正確な単一ニューロン緩和を用いても、正確に解析可能なReLUネットワークを構築することは不可能である。
  論文  参考訳（メタデータ） (2023-11-07T14:14:15Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• The Convex Relaxation Barrier, Revisited: Tightened Single-Neuron Relaxations for Neural Network Verification [11.10637926254491]
  我々は,ReLUニューロンに対する新たな凸緩和法により,伝搬最適化と線形最適化に基づくニューラルネットワーク検証アルゴリズムの有効性を向上する。 ニューラルネットワーク検証のための2時間アルゴリズムを設計する。リラクゼーションのフルパワーを活用する線形プログラミングベースのアルゴリズムと、既存のアプローチを一般化する高速な伝搬アルゴリズムである。
  論文  参考訳（メタデータ） (2020-06-24T22:16:58Z)
• Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers [72.56180590447835]
  凸緩和は、ノルムバウンドの敵攻撃に対するトレーニングとニューラルネットワークの認証に有効であるが、認証と経験的堅牢性の間に大きなギャップを残している。 非正規化ベースラインよりも高い精度でトレーニング可能なニューラルネットワークのトレーニングに使用できる2つの実験を提案する。
  論文  参考訳（メタデータ） (2020-02-22T20:19:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。