論文の概要: CAPM: Fast and Robust Verification on Maxpool-based CNN via Dual Network

• arxiv url: http://arxiv.org/abs/2407.09550v1
• Date: Thu, 27 Jun 2024 14:43:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 13:08:55.962736
• Title: CAPM: Fast and Robust Verification on Maxpool-based CNN via Dual Network
• Title（参考訳）: CAPM: デュアルネットワークによるMaxpoolベースのCNNの高速かつロバストな検証
• Authors: Jia-Hau Bai, Chi-Ting Liu, Yu Wang, Fu-Chieh Chang, Pei-Yuan Wu,
• Abstract要約: 本研究は、CPM(Convex Adversarial Polytope for Maxpool-based CNN)を用いて、汎用マックスプールベース畳み込みニューラルネットワーク(CNN)の検証境界を改善する。 その結果、この手法により、最大プールベースのCNNに対して最先端の検証精度が得られ、現在の検証方法よりも計算コストがはるかに低いことが示されている。
• 参考スコア（独自算出の注目度）: 4.468326224084018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study uses CAPM (Convex Adversarial Polytope for Maxpool-based CNN) to improve the verified bound for general purpose maxpool-based convolutional neural networks (CNNs) under bounded norm adversarial perturbations. The maxpool function is decomposed as a series of ReLU functions to extend the convex relaxation technique to maxpool functions, by which the verified bound can be efficiently computed through a dual network. The experimental results demonstrate that this technique allows the state-of-the-art verification precision for maxpool-based CNNs and involves a much lower computational cost than current verification methods, such as DeepZ, DeepPoly and PRIMA. This method is also applicable to large-scale CNNs, which previous studies show to be often computationally prohibitively expensive. Under certain circumstances, CAPM is 40-times, 20-times or twice as fast and give a significantly higher verification bound (CAPM 98% vs. PRIMA 76%/DeepPoly 73%/DeepZ 8%) as compared to PRIMA/DeepPoly/DeepZ. Furthermore, we additionally present the time complexity of our algorithm as $O(W^2NK)$, where $W$ is the maximum width of the neural network, $N$ is the number of neurons, and $K$ is the size of the maxpool layer's kernel.
• Abstract（参考訳）: 本研究は,CPM(Convex Adversarial Polytope for Maxpool-based CNN)を用いて,一般目的最大プール型畳み込みニューラルネットワーク(CNN)の有界摂動下での検証境界を改善する。 最大値関数は、凸緩和法を最大値関数に拡張するために一連のReLU関数として分解される。 実験により、この手法により、最大プールベースのCNNに対する最先端の検証精度が得られ、DeepZ、DeepPoly、PRIMAといった現在の検証手法よりも計算コストがはるかに低いことが示された。 この手法は大規模CNNにも適用可能で、従来の研究では計算に費用がかかることが多かった。 ある状況下では、CAPMは40回、20回、または2倍の速さで、PRIMA/DeepPoly/DeepZと比較して、かなり高い検証バウンダリ(CAPM 98%対PRIMA 76%/DeepPoly 73%/DeepZ 8%)を与える。 さらに、アルゴリズムの時間的複雑さを$O(W^2NK)$、$W$はニューラルネットワークの最大幅、$N$はニューロンの数、$K$はマックスプール層のカーネルのサイズとして示す。

関連論文リスト

• Towards General Robustness Verification of MaxPool-based Convolutional Neural Networks via Tightening Linear Approximation [51.235583545740674]
  MaxLinは、線形近似が厳密なMaxPoolベースのCNNの堅牢性検証器である。 我々は、MNIST、CIFAR-10、Tiny ImageNetデータセットでトレーニングされたLeNetやネットワークを含むオープンソースのベンチマークでMaxLinを評価した。
  論文  参考訳（メタデータ） (2024-06-02T10:33:04Z)
• ApproxDARTS: Differentiable Neural Architecture Search with Approximate Multipliers [0.24578723416255746]
  本稿では、DARTSと呼ばれる一般的な微分可能なニューラルアーキテクチャ探索手法を応用し、近似乗算器を活用可能なニューラルアーキテクチャ探索(NAS)手法であるApproxDARTSを提案する。 ApproxDARTSは10ドル未満のGPU時間で完全なアーキテクチャ検索を実行でき、畳み込み層に近似乗算器を含む競合畳み込みニューラルネットワーク(CNN)を生成する。
  論文  参考訳（メタデータ） (2024-04-08T09:54:57Z)
• Polynomial-Time Solutions for ReLU Network Training: A Complexity Classification via Max-Cut and Zonotopes [70.52097560486683]
  我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。 特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
  論文  参考訳（メタデータ） (2023-11-18T04:41:07Z)
• How Many Neurons Does it Take to Approximate the Maximum? [10.995895410470279]
  我々は、$d$入力以上の最大関数を近似するために必要なニューラルネットワークのサイズについて検討する。 様々な深さにまたがる近似に必要な幅について, 新たな下限と上限を提供する。
  論文  参考訳（メタデータ） (2023-07-18T12:47:35Z)
• Efficient SGD Neural Network Training via Sublinear Activated Neuron Identification [22.361338848134025]
  本稿では,ReLUの活性化をシフトする2層ニューラルネットワークについて,幾何学的探索によるサブ線形時間における活性化ニューロンの同定を可能にする。 また、我々のアルゴリズムは、係数ノルム上界$M$とエラー項$epsilon$の2次ネットワークサイズで$O(M2/epsilon2)$時間に収束できることを示す。
  論文  参考訳（メタデータ） (2023-07-13T05:33:44Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• AdaPool: Exponential Adaptive Pooling for Information-Retaining Downsampling [82.08631594071656]
  畳み込み層は畳み込みニューラルネットワーク(CNN)の重要な構成要素である 適応的で指数関数的に重み付けされたアダプール法を提案する。 adaPoolは画像やビデオの分類やオブジェクト検出など,さまざまなタスクを通じて,ディテールの保存性の向上を実証する。
  論文  参考訳（メタデータ） (2021-11-01T08:50:37Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• ReLU Neural Networks of Polynomial Size for Exact Maximum Flow Computation [5.35599092568615]
  本稿では,線形整流ユニットを用いたニューラルネットワークのパワーについて検討する。 我々は,2つの基本最適化問題を$mathcalO(m2n2)$のニューラルネットワークで解くことができることを示した。
  論文  参考訳（メタデータ） (2021-02-12T17:23:34Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。