論文の概要: Beta-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Complete and Incomplete Neural Network Verification

• arxiv url: http://arxiv.org/abs/2103.06624v1
• Date: Thu, 11 Mar 2021 11:56:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-12 15:01:20.797055
• Title: Beta-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Complete and Incomplete Neural Network Verification
• Title（参考訳）: Beta-CROWN:完全・不完全ニューラルネットワーク検証のためのニューロンスプリット制約を用いた効率的な境界伝搬
• Authors: Shiqi Wang, Huan Zhang, Kaidi Xu, Xue Lin, Suman Jana, Cho-Jui Hsieh, J. Zico Kolter
• Abstract要約: 私たちは、ニューロン毎の分割を完全にエンコードできるバウンド伝搬ベースの検証器である$beta$-crownを開発した。 Beta$-CROWNはLPベースのBaB法よりも3桁近い速さで堅牢性検証が可能です。 BaBを早期に終了することにより、不完全な検証にも使用できます。
• 参考スコア（独自算出の注目度）: 151.62491805851107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works in neural network verification show that cheap incomplete verifiers such as CROWN, based upon bound propagations, can effectively be used in Branch-and-Bound (BaB) methods to accelerate complete verification, achieving significant speedups compared to expensive linear programming (LP) based techniques. However, they cannot fully handle the per-neuron split constraints introduced by BaB like LP verifiers do, leading to looser bounds and hurting their verification efficiency. In this work, we develop $\beta$-CROWN, a new bound propagation based method that can fully encode per-neuron splits via optimizable parameters $\beta$. When the optimizable parameters are jointly optimized in intermediate layers, $\beta$-CROWN has the potential of producing better bounds than typical LP verifiers with neuron split constraints, while being efficiently parallelizable on GPUs. Applied to the complete verification setting, $\beta$-CROWN is close to three orders of magnitude faster than LP-based BaB methods for robustness verification, and also over twice faster than state-of-the-art GPU-based complete verifiers with similar timeout rates. By terminating BaB early, our method can also be used for incomplete verification. Compared to the state-of-the-art semidefinite-programming (SDP) based verifier, we show a substantial leap forward by greatly reducing the gap between verified accuracy and empirical adversarial attack accuracy, from 35% (SDP) to 12% on an adversarially trained MNIST network ($\epsilon=0.3$), while being 47 times faster. Our code is available at https://github.com/KaidiXu/Beta-CROWN
• Abstract（参考訳）: ニューラルネットワーク検証の最近の研究は、境界伝播に基づくCROWNのような安価な不完全検証器をブランチ・アンド・バウンド(BaB)法で効果的に使用し、完全検証を高速化し、高価な線形プログラミング(LP)ベースの手法と比較して大幅な高速化を実現していることを示している。 しかし、LP検証器のようにBaBが導入したニューロンごとのスプリット制約を完全には扱えないため、バウンダリはより緩くなり、検証効率が損なわれる。 この研究では、最適化可能なパラメータである$\beta$を介して、ニューロン毎の分割を完全にエンコードできる新しい境界伝播ベースメソッドである$\beta$-crownを開発した。 最適化可能なパラメータが中間層で共同最適化されると、$\beta$-CROWN は、神経分裂制約を持つ典型的な LP 検証器よりも優れた境界を生成する可能性を持ち、GPU 上で効率的に並列化可能である。 完全な検証設定に適用すると、$\beta$-crownは堅牢性検証のためにlpベースのbabメソッドより3桁早くなり、同様のタイムアウトレートのgpuベースの完全検証器よりも2倍以上高速である。 BaBを早期に終了することにより、不完全な検証にも使用できます。 現状の半有限プログラミング(SDP)ベースの検証器と比較すると、検証精度と経験的攻撃精度のギャップを大幅に減らし、敵対的に訓練されたMNISTネットワーク(\epsilon=0.3$)で35%(SDP)から12%に減らし、47倍の高速化を実現した。 コードはhttps://github.com/KaidiXu/Beta-CROWNで入手できます。

関連論文リスト

• No Need to Look Back: An Efficient and Scalable Approach for Temporal Network Representation Learning [9.218415145210715]
  本稿では、新しい効率的なTGRLフレームワーク、No-Looking-Back(NLB)を紹介する。 NLBは「前向きの最近のサンプリング」戦略を採用しており、歴史的相互作用のバックトラックの必要性を回避している。 経験的評価は、NLBがリンク予測とノード分類の精度において最先端の手法と一致するか、あるいは超えていることを示している。
  論文  参考訳（メタデータ） (2024-02-03T00:12:36Z)
• Sound and Complete Verification of Polynomial Networks [55.9260539566555]
  PN(Polynomial Networks)は、最近顔と画像の認識において有望な性能を示した。 分岐とバウンド(BaB)技術に基づくReLUニューラルネットワーク(NN)上の既存の検証アルゴリズムは、PN検証に自明に適用できない。 我々は、VPNと呼ばれるグローバルコンバージェンス保証のためのBaBを備えた新しいバウンダリング手法を考案した。
  論文  参考訳（メタデータ） (2022-09-15T11:50:43Z)
• General Cutting Planes for Bound-Propagation-Based Neural Network Verification [144.7290035694459]
  任意の切削平面制約を加えることができるような境界伝搬手順を一般化する。 MIPソルバは、境界プロパゲーションベースの検証器を強化するために高品質な切削面を生成することができる。 本手法は,oval20ベンチマークを完全解き,oval21ベンチマークの2倍のインスタンスを検証できる最初の検証器である。
  論文  参考訳（メタデータ） (2022-08-11T10:31:28Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• Fast and Complete: Enabling Complete Neural Network Verification with Rapid and Massively Parallel Incomplete Verifiers [112.23981192818721]
  BaB プロセス中に線形計画法 (LP) を置き換えるために, 逆モード線形緩和に基づく解析法 (LiRPA) を提案する。 LPとは異なり、LiRPAを適用すると、より弱い境界が得られ、分割時にサブドメインのコンフリクトをチェックすることもできない。 既存のLPベースのアプローチと比較して、桁違いのスピードアップを示す。
  論文  参考訳（メタデータ） (2020-11-27T16:42:12Z)
• Second-Order Provable Defenses against Adversarial Attacks [63.34032156196848]
  ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。 認証精度は5.78%,44.96%,43.19%であった。
  論文  参考訳（メタデータ） (2020-06-01T05:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。