論文の概要: Precise Multi-Neuron Abstractions for Neural Network Certification
- arxiv url: http://arxiv.org/abs/2103.03638v1
- Date: Fri, 5 Mar 2021 12:53:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-09 06:12:30.591432
- Title: Precise Multi-Neuron Abstractions for Neural Network Certification
- Title（参考訳）: ニューラルネットワーク認証のための高精度マルチニューロアブストラクション
- Authors: Mark Niklas M\"uller, Gleb Makarchuk, Gagandeep Singh, Markus
P\"uschel, Martin Vechev
- Abstract要約: PRIMAは任意の非線形アクティベーションの正確な凸近似を計算するフレームワークです。
ReLU, Sigmoid, Tanhアクティベーションを用いたチャレンジングニューラルネットワークにおけるPRIMAの有効性を評価する。
- 参考スコア（独自算出の注目度）: 2.149265948858581
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Formal verification of neural networks is critical for their safe adoption in
real-world applications. However, designing a verifier which can handle
realistic networks in a precise manner remains an open and difficult challenge.
In this paper, we take a major step in addressing this challenge and present a
new framework, called PRIMA, that computes precise convex approximations of
arbitrary non-linear activations. PRIMA is based on novel approximation
algorithms that compute the convex hull of polytopes, leveraging concepts from
computational geometry. The algorithms have polynomial complexity, yield fewer
constraints, and minimize precision loss. We evaluate the effectiveness of
PRIMA on challenging neural networks with ReLU, Sigmoid, and Tanh activations.
Our results show that PRIMA is significantly more precise than the
state-of-the-art, verifying robustness for up to 16%, 30%, and 34% more images
than prior work on ReLU-, Sigmoid-, and Tanh-based networks, respectively.
- Abstract（参考訳）: ニューラルネットワークの形式的検証は、現実世界のアプリケーションで安全な適用のために重要である。
しかし、正確な方法で現実的なネットワークを処理できる検証器の設計は、オープンで難しい課題である。
本稿では,この課題に対処する上で大きな一歩を踏み出し,任意の非線形アクティベーションの凸近似を正確に計算する PRIMA という新しいフレームワークを提案する。
PRIMAは、計算幾何学の概念を利用して、ポリトープの凸殻を計算する新しい近似アルゴリズムに基づいている。
アルゴリズムは多項式複雑性を持ち、制約を少なくし、精度の損失を最小限に抑える。
ReLU, Sigmoid, Tanhアクティベーションを用いたチャレンジングニューラルネットワークにおけるPRIMAの有効性を評価する。
その結果、PRIMAは最先端のネットワークよりも大幅に正確であり、RELU-、Sigmoid-、Tanhベースのネットワークでの以前の作業よりも最大16%、30%、および34%の画像の堅牢性を検証しています。
関連論文リスト
- Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。
本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文 参考訳（メタデータ） (2024-06-06T23:19:57Z) - Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳（メタデータ） (2023-09-26T17:42:52Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Provably Tightest Linear Approximation for Robustness Verification of
Sigmoid-like Neural Networks [22.239149433169747]
ディープニューラルネットワークの堅牢性は、現代のAI対応システムにとって不可欠である。
非線形性のため、Sigmoidのようなニューラルネットワークは広範囲のアプリケーションで採用されている。
論文 参考訳（メタデータ） (2022-08-21T12:07:36Z) - A Simple Approach to Improve Single-Model Deep Uncertainty via
Distance-Awareness [33.09831377640498]
本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。
本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。
ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
論文 参考訳（メタデータ） (2022-05-01T05:46:13Z) - A Unified View of SDP-based Neural Network Verification through
Completely Positive Programming [27.742278216854714]
完全正のプログラム(CPP)としての検証の正確で凸な定式化を開発する。
我々の定式化は最小限であり、基本的にニューラルネットワークの計算を誤って表現する制約の除去であることを示す分析を提供する。
論文 参考訳（メタデータ） (2022-03-06T19:23:09Z) - A Survey of Quantization Methods for Efficient Neural Network Inference [75.55159744950859]
量子化は、必要なビット数を最小限に抑えるために、固定された離散数の集合に連続実数値を分散する問題である。
近年、コンピュータビジョン、自然言語処理、関連分野でのニューラルネットワークモデルの顕著な性能のために最前線に達しています。
浮動小数点表現から4ビット以下の低精度固定整数値への移行は、メモリフットプリントとレイテンシを16倍削減する可能性を秘めている。
論文 参考訳（メタデータ） (2021-03-25T06:57:11Z) - Scalable Verification of Quantized Neural Networks (Technical Report) [14.04927063847749]
ビットベクトル仕様を持つ量子化ニューラルネットワークのビットエクササイズ実装はPSPACEハードであることを示す。
量子化されたニューラルネットワークのSMTに基づく検証をよりスケーラブルにするための3つの手法を提案する。
論文 参考訳（メタデータ） (2020-12-15T10:05:37Z) - Enabling certification of verification-agnostic networks via
memory-efficient semidefinite programming [97.40955121478716]
本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。
L-inf の精度は 1% から 88% ,6% から 40% に改善した。
また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
論文 参考訳（メタデータ） (2020-10-22T12:32:29Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。