論文の概要: Partition-Based Convex Relaxations for Certifying the Robustness of ReLU
Neural Networks
- arxiv url: http://arxiv.org/abs/2101.09306v1
- Date: Fri, 22 Jan 2021 19:36:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-20 17:15:45.176662
- Title: Partition-Based Convex Relaxations for Certifying the Robustness of ReLU
Neural Networks
- Title(参考訳): ReLUニューラルネットワークのロバスト性証明のための分割型凸緩和法
- Authors: Brendon G. Anderson, Ziye Ma, Jingqi Li, Somayeh Sojoudi
- Abstract要約: 本論文では,ReLUニューラルネットワークの逆入力摂動に対する堅牢性の証明について検討する。
一般の線形プログラミング (LP) と半定値プログラミング (SDP) の認証手法が抱える緩和誤差を低減させるため,入力の不確実性セットを分割し,各部分の緩和を別々に解決する手法を提案する。
このアプローチはリラクゼーションエラーを低減し、インテリジェントに設計されたパーティションでLPリラクゼーションを実行するとエラーが完全に排除されることを示します。
- 参考スコア(独自算出の注目度): 10.992151305603267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study certifying the robustness of ReLU neural networks
against adversarial input perturbations. To diminish the relaxation error
suffered by the popular linear programming (LP) and semidefinite programming
(SDP) certification methods, we propose partitioning the input uncertainty set
and solving the relaxations on each part separately. We show that this approach
reduces relaxation error, and that the error is eliminated entirely upon
performing an LP relaxation with an intelligently designed partition. To scale
this approach to large networks, we consider courser partitions that take the
same form as this motivating partition. We prove that computing such a
partition that directly minimizes the LP relaxation error is NP-hard. By
instead minimizing the worst-case LP relaxation error, we develop a
computationally tractable scheme with a closed-form optimal two-part partition.
We extend the analysis to the SDP, where the feasible set geometry is exploited
to design a two-part partition that minimizes the worst-case SDP relaxation
error. Experiments on IRIS classifiers demonstrate significant reduction in
relaxation error, offering certificates that are otherwise void without
partitioning. By independently increasing the input size and the number of
layers, we empirically illustrate under which regimes the partitioned LP and
SDP are best applied.
- Abstract(参考訳): 本稿では,ReLUニューラルネットワークの逆入力摂動に対する堅牢性を検証する。
一般の線形プログラミング (LP) と半定値プログラミング (SDP) の認証手法が抱える緩和誤差を低減させるため,入力の不確実性セットの分割と各部分での緩和の解法を提案する。
この手法はリラクゼーションエラーを低減し、lpリラクゼーションをインテリジェントに設計されたパーティションで実行するとエラーが完全に排除されることを示す。
このアプローチを大規模ネットワークに拡張するために、このモチベーション・パーティションと同じ形態のスケジューラパーティションを考える。
LP緩和誤差を直接最小化する分割計算がNPハードであることを証明する。
最悪ケースのLP緩和誤差を最小化する代わりに、閉形式最適2部分割を用いた計算可能スキームを開発する。
解析をSDPに拡張し、実現可能な集合形状を利用して、最悪のSDP緩和誤差を最小限に抑える2部分割を設計する。
IRIS分類器の実験では緩和誤差が大幅に減少し、パーティショニングなしで無効な証明書が提供される。
入力サイズと層数を独立に増加させることで、分割されたLPとSDPがどの状態に最も適しているかを実証的に示す。
関連論文リスト
- Design and Prototyping Distributed CNN Inference Acceleration in Edge
Computing [85.74517957717363]
HALPはエッジコンピューティングにおけるエッジデバイス(ED)間のシームレスなコラボレーションを設計することで推論を加速する。
実験により、分散推論HALPはVGG-16に対して1.7倍の推論加速を達成することが示された。
分散推論HALPを用いたモデル選択は,サービスの信頼性を著しく向上させることができる。
論文 参考訳(メタデータ) (2022-11-24T19:48:30Z) - Receptive Field-based Segmentation for Distributed CNN Inference
Acceleration in Collaborative Edge Computing [93.67044879636093]
協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。
我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
論文 参考訳(メタデータ) (2022-07-22T18:38:11Z) - A Unified View of SDP-based Neural Network Verification through
Completely Positive Programming [27.742278216854714]
完全正のプログラム(CPP)としての検証の正確で凸な定式化を開発する。
我々の定式化は最小限であり、基本的にニューラルネットワークの計算を誤って表現する制約の除去であることを示す分析を提供する。
論文 参考訳(メタデータ) (2022-03-06T19:23:09Z) - Certifiable Outlier-Robust Geometric Perception: Exact Semidefinite
Relaxations and Scalable Global Optimization [29.738513596063946]
本稿では,外接点の存在下でのロバストな幾何学的知覚のためのアルゴリズム設計のための,最初の汎用フレームワークを提案する。
我々の実験では、SDP緩和はアプリケーション間で最大で外れ率で正確であることを実証した。
論文 参考訳(メタデータ) (2021-09-07T21:42:16Z) - DeepSplit: Scalable Verification of Deep Neural Networks via Operator
Splitting [70.62923754433461]
入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。
解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
論文 参考訳(メタデータ) (2021-06-16T20:43:49Z) - STRIDE along Spectrahedral Vertices for Solving Large-Scale Rank-One
Semidefinite Relaxations [27.353023427198806]
我々は、制約のない最適化問題(POP)の高次半定値プログラミング緩和を考察する。
POPから独立してSDPを解く既存のアプローチは、そのようなSDPの典型的な非エネルギー性のため、大きな問題にスケールできないか、あるいは緩やかな収束に苦しむことができない。
我々は SpecTrahedral vErtices (STRIDE) と呼ばれる新しいアルゴリズムフレームワークを提案する。
論文 参考訳(メタデータ) (2021-05-28T18:07:16Z) - Lattice partition recovery with dyadic CART [79.96359947166592]
我々は、$d$次元格子上の加法ガウス雑音によって破損したピースワイド定値信号について検討する。
この形式のデータは、多くのアプリケーションで自然に発生し、統計処理や信号処理の文献において、信号の検出やテスト、ノイズの除去、推定といったタスクが広く研究されている。
本稿では,未知の信号の一貫性領域によって誘導される格子の分割を推定する,分割回復の問題について考察する。
我々は、DCARTベースの手順が、下位分割を$sigma2 k*の順序で一貫して推定することを証明した。
論文 参考訳(メタデータ) (2021-05-27T23:41:01Z) - Partition-based formulations for mixed-integer optimization of trained
ReLU neural networks [66.88252321870085]
本稿では,訓練されたReLUニューラルネットワークのための混合整数式について紹介する。
1つの極端な場合、入力毎に1つのパーティションがノードの凸殻、すなわち各ノードの最も厳密な可能な定式化を回復する。
論文 参考訳(メタデータ) (2021-02-08T17:27:34Z) - Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned
Edge Learning Over Broadband Channels [69.18343801164741]
パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。
本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
論文 参考訳(メタデータ) (2020-10-08T15:27:50Z) - One Ring to Rule Them All: Certifiably Robust Geometric Perception with
Outliers [32.1176248075545]
本稿では,大量の外れ値が存在する場合の認識のための認証アルゴリズムを設計するための,最初の汎用的かつ実用的な手法を提案する。
我々の双対証明器は任意の問題の解の最適部分最適性を利用する。
論文 参考訳(メタデータ) (2020-06-11T19:46:42Z) - Tightened Convex Relaxations for Neural Network Robustness Certification [10.68833097448566]
我々は、ReLUネットワークの構造を利用して、新しいパーティションベースの認証手順により緩和誤差を改善する。
提案手法は, 既存の線形プログラミング緩和を厳格化することが証明され, 結果がより微細になるにつれて, 緩和誤差がゼロとなる。
論文 参考訳(メタデータ) (2020-04-01T16:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。