論文の概要: Multi-Neuron Unleashes Expressivity of ReLU Networks Under Convex Relaxation

• arxiv url: http://arxiv.org/abs/2410.06816v1
• Date: Wed, 9 Oct 2024 12:14:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 03:30:47.208065
• Title: Multi-Neuron Unleashes Expressivity of ReLU Networks Under Convex Relaxation
• Title（参考訳）: 凸緩和下におけるReLUネットワークのマルチニューロン圧縮性
• Authors: Yuhao Mao, Yani Zhang, Martin Vechev,
• Abstract要約: 一般的なReLUネットワークに対して,(階層的に)多重ニューロン緩和が完全な認証を提供することを示す。 我々は、ReLUネットワークの表現性は、マルチニューロン緩和下ではもはや制限されないことを示した。
• 参考スコア（独自算出の注目度）: 2.775510076780097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural work certification has established itself as a crucial tool for ensuring the robustness of neural networks. Certification methods typically rely on convex relaxations of the feasible output set to provide sound bounds. However, complete certification requires exact bounds, which strongly limits the expressivity of ReLU networks: even for the simple ``$\max$'' function in $\mathbb{R}^2$, there does not exist a ReLU network that expresses this function and can be exactly bounded by single-neuron relaxation methods. This raises the question whether there exists a convex relaxation that can provide exact bounds for general continuous piecewise linear functions in $\mathbb{R}^n$. In this work, we answer this question affirmatively by showing that (layer-wise) multi-neuron relaxation provides complete certification for general ReLU networks. Based on this novel result, we show that the expressivity of ReLU networks is no longer limited under multi-neuron relaxation. To the best of our knowledge, this is the first positive result on the completeness of convex relaxations, shedding light on the practice of certified robustness.
• Abstract（参考訳）: ニューラルワーク認定は、ニューラルネットワークの堅牢性を保証する重要なツールとして、自らを確立している。 認証法は一般に、音境界を提供するために可能な出力セットの凸緩和に依存する。 たとえ$\mathbb{R}^2$ の単純な ``$\max$'' 関数であっても、この関数を表現し、単一ニューロン緩和法で完全に有界な ReLU ネットワークは存在しない。 このことは、$\mathbb{R}^n$ の一般連続ピースワイズ線型函数に対して正確な境界を与える凸緩和が存在するかどうかという問題を提起する。 本稿では、一般的なReLUネットワークに対する(階層的な)マルチニューロン緩和が完全な認証を提供することを示すことにより、この疑問に肯定的に答える。 この新たな結果に基づき、ReLUネットワークの表現性は、マルチニューロン緩和下ではもはや制限されないことを示す。 我々の知る限りでは、これは凸緩和の完全性に対する最初の肯定的な結果であり、証明された堅牢性の実践に光を当てている。

関連論文リスト

• Expressivity of ReLU-Networks under Convex Relaxations [7.043624904936254]
  我々は、ReLUネットワークのすべての一般的な凸緩和における表現力に関する、最初の詳細な研究を行う。 i) より高度な緩和により、より大きなユニバリケート関数を正確に解析可能なReLUネットワークとして表現することができ、(ii) より正確な緩和により、同じ関数を符号化したReLUネットワークの指数的に大きい解空間が得られ、(iii) 最も正確な単一ニューロン緩和を用いても、正確に解析可能なReLUネットワークを構築することは不可能である。
  論文  参考訳（メタデータ） (2023-11-07T14:14:15Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Complete Verification via Multi-Neuron Relaxation Guided Branch-and-Bound [2.896192909215469]
  両パラダイムの強みを組み合わせた新しい完全検証器を提案する。 BaBプロセス中に生成されるサブプロブレムの数を劇的に減少させるために、マルチニューロン緩和を用いる。 評価の結果,既存のベンチマークと,従来考えられていたよりもはるかに高い精度のネットワークにおいて,検証が新たな最先端性を達成できることが確認された。
  論文  参考訳（メタデータ） (2022-04-30T13:12:33Z)
• A Primer on Multi-Neuron Relaxation-based Adversarial Robustness Certification [6.71471794387473]
  敵対的な例は、ディープニューラルネットワークが現実世界に展開されるときに、本当に危険をもたらす。 本研究では,緩和に基づくロバスト性認証手法を記述するために,統一的な数学的枠組みを開発する。
  論文  参考訳（メタデータ） (2021-06-06T11:59:27Z)
• Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
  我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。 人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
  論文  参考訳（メタデータ） (2021-02-18T14:53:12Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• The Convex Relaxation Barrier, Revisited: Tightened Single-Neuron Relaxations for Neural Network Verification [11.10637926254491]
  我々は,ReLUニューロンに対する新たな凸緩和法により,伝搬最適化と線形最適化に基づくニューラルネットワーク検証アルゴリズムの有効性を向上する。 ニューラルネットワーク検証のための2時間アルゴリズムを設計する。リラクゼーションのフルパワーを活用する線形プログラミングベースのアルゴリズムと、既存のアプローチを一般化する高速な伝搬アルゴリズムである。
  論文  参考訳（メタデータ） (2020-06-24T22:16:58Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers [72.56180590447835]
  凸緩和は、ノルムバウンドの敵攻撃に対するトレーニングとニューラルネットワークの認証に有効であるが、認証と経験的堅牢性の間に大きなギャップを残している。 非正規化ベースラインよりも高い精度でトレーニング可能なニューラルネットワークのトレーニングに使用できる2つの実験を提案する。
  論文  参考訳（メタデータ） (2020-02-22T20:19:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。