論文の概要: DeepBern-Nets: Taming the Complexity of Certifying Neural Networks using
Bernstein Polynomial Activations and Precise Bound Propagation
- arxiv url: http://arxiv.org/abs/2305.13508v1
- Date: Mon, 22 May 2023 21:52:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 20:31:15.267723
- Title: DeepBern-Nets: Taming the Complexity of Certifying Neural Networks using
Bernstein Polynomial Activations and Precise Bound Propagation
- Title（参考訳）: DeepBern-Nets: Bernstein Polynomial Activation and Precise Bound Propagation を用いたニューラルネットワーク認証の複雑さのモデル化
- Authors: Haitham Khedr and Yasser Shoukry
- Abstract要約: 本稿では、ReLUアクティベーションの代わりにBernsteinsに基づく活性化関数を持つNNのクラスであるDeepBernsを紹介する。
我々は、DeepBern-Nets出力の厳密な境界を効率的に計算するBern-IBPと呼ばれる新しいアルゴリズムを設計する。
この作業は、さまざまなアプリケーションにわたるNN認証タスクを改善するための、有望な代替手段として、Bernsteinのアクティベーションを確立する。
- 参考スコア（独自算出の注目度）: 1.4620086904601473
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Formal certification of Neural Networks (NNs) is crucial for ensuring their
safety, fairness, and robustness. Unfortunately, on the one hand, sound and
complete certification algorithms of ReLU-based NNs do not scale to large-scale
NNs. On the other hand, incomplete certification algorithms are easier to
compute, but they result in loose bounds that deteriorate with the depth of NN,
which diminishes their effectiveness. In this paper, we ask the following
question; can we replace the ReLU activation function with one that opens the
door to incomplete certification algorithms that are easy to compute but can
produce tight bounds on the NN's outputs? We introduce DeepBern-Nets, a class
of NNs with activation functions based on Bernstein polynomials instead of the
commonly used ReLU activation. Bernstein polynomials are smooth and
differentiable functions with desirable properties such as the so-called range
enclosure and subdivision properties. We design a novel algorithm, called
Bern-IBP, to efficiently compute tight bounds on DeepBern-Nets outputs. Our
approach leverages the properties of Bernstein polynomials to improve the
tractability of neural network certification tasks while maintaining the
accuracy of the trained networks. We conduct comprehensive experiments in
adversarial robustness and reachability analysis settings to assess the
effectiveness of the proposed Bernstein polynomial activation in enhancing the
certification process. Our proposed framework achieves high certified accuracy
for adversarially-trained NNs, which is often a challenging task for certifiers
of ReLU-based NNs. Moreover, using Bern-IBP bounds for certified training
results in NNs with state-of-the-art certified accuracy compared to ReLU
networks. This work establishes Bernstein polynomial activation as a promising
alternative for improving NN certification tasks across various applications.
- Abstract（参考訳）: ニューラルネットワーク(NN)の形式的認証は、安全性、公正性、堅牢性を保証するために不可欠である。
残念なことに、ReLUベースのNNの健全かつ完全な認証アルゴリズムは大規模NNには拡張できない。
一方、不完全認証アルゴリズムは計算が容易であるが、NNの深さによって劣化するゆるい境界が生じ、効率が低下する。
本稿では、reluアクティベーション関数を、計算が容易だがnnの出力に厳密な境界を生み出す不完全な認証アルゴリズムへの扉を開くものに置き換えることができるか?
本稿では、よく使われるReLUアクティベーションの代わりに、ベルンシュタイン多項式に基づく活性化関数を持つNNのクラスであるDeepBern-Netsを紹介する。
バーンスタイン多項式は滑らかで微分可能な関数であり、いわゆるレンジ囲いや部分分割の性質のような望ましい性質を持つ。
我々は、DeepBern-Nets出力の厳密な境界を効率的に計算するBern-IBPと呼ばれる新しいアルゴリズムを設計する。
本手法は,ニューラルネットワークの精度を維持しつつ,ニューラルネットワーク認証タスクのトラクタビリティを向上させるために,ベルンシュタイン多項式の特性を利用する。
提案するベルンシュタイン多項式の活性化が認証プロセスの強化に有効であるかを評価するため,敵対的ロバストネスと到達可能性解析の総合的な実験を行った。
提案手法は,ReLU を用いた NN の認証を行う上で難しい課題である逆学習NN に対して高い精度を実現する。
さらに、認定トレーニングにbern-ibpバウンドを使用することで、reluネットワークと比較して最先端の認証精度を持つnnsが得られる。
この研究は、様々なアプリケーションでNN認証タスクを改善するための有望な代替手段としてベルンシュタイン多項式の活性化を確立する。
関連論文リスト
- Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証において最も効果的な手法の一つである。
我々は、一般的な非線形性にBaBを実行し、一般的なアーキテクチャでNNを検証する汎用フレームワークGenBaBを開発した。
我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つNNを含む幅広いNNの検証におけるGenBaBの有効性を実証する。
論文 参考訳（メタデータ） (2024-05-31T17:51:07Z) - Tight Verification of Probabilistic Robustness in Bayesian Neural
Networks [17.499817915644467]
ベイズニューラルネットワーク(BNN)の確率論的ロバスト性に関する厳密な保証を計算するための2つのアルゴリズムを導入する。
提案アルゴリズムは,反復的拡張とネットワークの勾配を用いて,パラメータの空間を安全に探索する。
アルゴリズムがSoAよりも厳密なバウンダリを計算できることの証明に加えて、標準ベンチマーク上でのSoAに対するアルゴリズムの評価も行っています。
論文 参考訳（メタデータ） (2024-01-21T23:41:32Z) - An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。
本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
論文 参考訳（メタデータ） (2023-07-29T06:27:28Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Sound and Complete Verification of Polynomial Networks [55.9260539566555]
PN(Polynomial Networks)は、最近顔と画像の認識において有望な性能を示した。
分岐とバウンド(BaB)技術に基づくReLUニューラルネットワーク(NN)上の既存の検証アルゴリズムは、PN検証に自明に適用できない。
我々は、VPNと呼ばれるグローバルコンバージェンス保証のためのBaBを備えた新しいバウンダリング手法を考案した。
論文 参考訳（メタデータ） (2022-09-15T11:50:43Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - A Mixed Integer Programming Approach for Verifying Properties of
Binarized Neural Networks [44.44006029119672]
BNN検証のための混合整数計画法を提案する。
我々は,MNISTデータセットと航空機衝突回避制御器を用いて訓練したBNNの特性を検証することによって,我々のアプローチを実証する。
論文 参考訳（メタデータ） (2022-03-11T01:11:29Z) - Encoding the latent posterior of Bayesian Neural Networks for
uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。
可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。
我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文 参考訳（メタデータ） (2020-12-04T19:50:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。