論文の概要: On the Expressiveness of Multi-Neuron Convex Relaxations

• arxiv url: http://arxiv.org/abs/2410.06816v2
• Date: Fri, 31 Jan 2025 14:04:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 13:59:42.028158
• Title: On the Expressiveness of Multi-Neuron Convex Relaxations
• Title（参考訳）: マルチニューロン凸緩和の表現性について
• Authors: Yuhao Mao, Yani Zhang, Martin Vechev,
• Abstract要約: ニューラルネットワーク認証におけるマルチニューロン緩和の表現性について検討する。 我々は,多ニューロン緩和が意味保存構造変換によって完全検証器に変換できることを証明した。 また、これらの拡張がなければ完全性保証が得られなくなり、全てのマルチニューロン緩和の緩和誤差は非有界であることが示される。
• 参考スコア（独自算出の注目度）: 2.775510076780097
• License:
• Abstract: To provide robustness guarantees, neural network certification methods heavily rely on convex relaxations. The imprecision of these convex relaxations, however, is a major obstacle: even the most precise single-neuron relaxation is incomplete for general ReLU networks, a phenomenon referred to as the single-neuron convex barrier. While heuristic instantiations of multi-neuron relaxations have been proposed to circumvent this barrier in practice, their theoretical properties remain largely unknown. In this work, we conduct the first rigorous study of the expressiveness of multi-neuron relaxations. We first show that the ``$\max$'' function in $\mathbb{R}^d$ can be encoded by a ReLU network and exactly bounded by a multi-neuron relaxation, which is impossible for any single-neuron relaxation. Further, we prove that multi-neuron relaxations can be turned into complete verifiers by semantic-preserving structural transformations or by input space partitioning that enjoys improved worst-case partition complexity. We also show that without these augmentations, the completeness guarantee can no longer be obtained, and the relaxation error of every multi-neuron relaxation can be unbounded. To the best of our knowledge, this is the first work to provide an extensive characterization of multi-neuron relaxations and their expressiveness in neural network certification.
• Abstract（参考訳）: 堅牢性を保証するため、ニューラルネットワーク認証方法は凸緩和に大きく依存する。 しかし、これらの凸緩和のインプレクションは大きな障害であり、最も正確な単一ニューロン緩和でさえ一般のReLUネットワークには不完全である。 実際にはこの障壁を回避するために、多ニューロン緩和のヒューリスティックなインスタンス化が提案されているが、その理論的性質はほとんど分かっていない。 本研究では,マルチニューロン緩和の表現性に関する厳密な研究を行った。 まず、$\mathbb{R}^d$ の ``$\max$'' 関数が ReLU ネットワークでエンコードされ、正確にはマルチニューロン緩和で有界であることを示し、これは任意の単一ニューロン緩和では不可能である。 さらに, マルチニューロン緩和は, セマンティック保存構造変換や, 最悪の分割複雑性の向上を享受する入力空間分割によって, 完全検証器に変換できることを示す。 また、これらの拡張がなければ完全性保証が得られなくなり、全てのマルチニューロン緩和の緩和誤差は非有界であることが示される。 私たちの知る限りでは、これは、ニューラルネットワーク認証におけるマルチニューロン緩和と表現力の広範な特徴付けを提供する最初の研究である。

関連論文リスト

• Expressivity of ReLU-Networks under Convex Relaxations [7.043624904936254]
  我々は、ReLUネットワークのすべての一般的な凸緩和における表現力に関する、最初の詳細な研究を行う。 i) より高度な緩和により、より大きなユニバリケート関数を正確に解析可能なReLUネットワークとして表現することができ、(ii) より正確な緩和により、同じ関数を符号化したReLUネットワークの指数的に大きい解空間が得られ、(iii) 最も正確な単一ニューロン緩和を用いても、正確に解析可能なReLUネットワークを構築することは不可能である。
  論文  参考訳（メタデータ） (2023-11-07T14:14:15Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Complete Verification via Multi-Neuron Relaxation Guided Branch-and-Bound [2.896192909215469]
  両パラダイムの強みを組み合わせた新しい完全検証器を提案する。 BaBプロセス中に生成されるサブプロブレムの数を劇的に減少させるために、マルチニューロン緩和を用いる。 評価の結果,既存のベンチマークと,従来考えられていたよりもはるかに高い精度のネットワークにおいて,検証が新たな最先端性を達成できることが確認された。
  論文  参考訳（メタデータ） (2022-04-30T13:12:33Z)
• A Primer on Multi-Neuron Relaxation-based Adversarial Robustness Certification [6.71471794387473]
  敵対的な例は、ディープニューラルネットワークが現実世界に展開されるときに、本当に危険をもたらす。 本研究では,緩和に基づくロバスト性認証手法を記述するために,統一的な数学的枠組みを開発する。
  論文  参考訳（メタデータ） (2021-06-06T11:59:27Z)
• Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
  我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。 人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
  論文  参考訳（メタデータ） (2021-02-18T14:53:12Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• The Convex Relaxation Barrier, Revisited: Tightened Single-Neuron Relaxations for Neural Network Verification [11.10637926254491]
  我々は,ReLUニューロンに対する新たな凸緩和法により,伝搬最適化と線形最適化に基づくニューラルネットワーク検証アルゴリズムの有効性を向上する。 ニューラルネットワーク検証のための2時間アルゴリズムを設計する。リラクゼーションのフルパワーを活用する線形プログラミングベースのアルゴリズムと、既存のアプローチを一般化する高速な伝搬アルゴリズムである。
  論文  参考訳（メタデータ） (2020-06-24T22:16:58Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers [72.56180590447835]
  凸緩和は、ノルムバウンドの敵攻撃に対するトレーニングとニューラルネットワークの認証に有効であるが、認証と経験的堅牢性の間に大きなギャップを残している。 非正規化ベースラインよりも高い精度でトレーニング可能なニューラルネットワークのトレーニングに使用できる2つの実験を提案する。
  論文  参考訳（メタデータ） (2020-02-22T20:19:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。