論文の概要: Tightened Convex Relaxations for Neural Network Robustness Certification

• arxiv url: http://arxiv.org/abs/2004.00570v2
• Date: Fri, 18 Sep 2020 00:04:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 18:28:04.917586
• Title: Tightened Convex Relaxations for Neural Network Robustness Certification
• Title（参考訳）: ニューラルネットワークのロバスト性認定のための密閉凸緩和
• Authors: Brendon G. Anderson, Ziye Ma, Jingqi Li, Somayeh Sojoudi
• Abstract要約: 我々は、ReLUネットワークの構造を利用して、新しいパーティションベースの認証手順により緩和誤差を改善する。 提案手法は, 既存の線形プログラミング緩和を厳格化することが証明され, 結果がより微細になるにつれて, 緩和誤差がゼロとなる。
• 参考スコア（独自算出の注目度）: 10.68833097448566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider the problem of certifying the robustness of neural networks to perturbed and adversarial input data. Such certification is imperative for the application of neural networks in safety-critical decision-making and control systems. Certification techniques using convex optimization have been proposed, but they often suffer from relaxation errors that void the certificate. Our work exploits the structure of ReLU networks to improve relaxation errors through a novel partition-based certification procedure. The proposed method is proven to tighten existing linear programming relaxations, and asymptotically achieves zero relaxation error as the partition is made finer. We develop a finite partition that attains zero relaxation error and use the result to derive a tractable partitioning scheme that minimizes the worst-case relaxation error. Experiments using real data show that the partitioning procedure is able to issue robustness certificates in cases where prior methods fail. Consequently, partition-based certification procedures are found to provide an intuitive, effective, and theoretically justified method for tightening existing convex relaxation techniques.
• Abstract（参考訳）: 本稿では,摂動入力データに対するニューラルネットワークの堅牢性を検証することの問題点について考察する。 このような認定は、安全クリティカルな意思決定および制御システムにおけるニューラルネットワークの適用に不可欠である。 凸最適化を用いた認証技術が提案されているが、しばしば証明書を無効にする緩和誤差に悩まされる。 本研究では,ReLUネットワークの構造を利用して,新しい分割型認証手法により緩和誤差を改善する。 提案手法は,既存の線形計画の緩和を厳しくし,分割を細かくすることで漸近的に緩和誤差をゼロにする。 我々は,リラクゼーション誤差ゼロとなる有限分割法を開発し,その結果を用いて,最悪のリラクゼーション誤差を最小化する可搬分割スキームを導出する。 実データを用いた実験では、パーティショニング手順が以前のメソッドが失敗した場合に堅牢性証明書を発行できることが示されている。 その結果,既存の凸緩和技術を強化するための直感的,効果的,理論的に正当化された方法として,分割ベースの認証手順が得られた。

関連論文リスト

• Verification of Geometric Robustness of Neural Networks via Piecewise Linear Approximation and Lipschitz Optimisation [57.10353686244835]
  我々は、回転、スケーリング、せん断、翻訳を含む入力画像の幾何学的変換に対するニューラルネットワークの検証の問題に対処する。 提案手法は, 分枝・分枝リプシッツと組み合わせたサンプリングおよび線形近似を用いて, 画素値に対する楽音線形制約を求める。 提案手法では,既存の手法よりも最大32%の検証ケースが解決されている。
  論文  参考訳（メタデータ） (2024-08-23T15:02:09Z)
• Gaussian Loss Smoothing Enables Certified Training with Tight Convex Relaxations [14.061189994638667]
  敵の例に対して高い精度でニューラルネットワークを訓練することは、依然としてオープンな課題である。 厳密な凸緩和を効果的に活用し、バウンド計算を行う。 トレーニングでは、これらの手法は緩やかに緩和されるよりも悪い結果をもたらす可能性がある。 ガウシアン・ロス・スムーシングはこれらの問題を緩和できることを示す。
  論文  参考訳（メタデータ） (2024-03-11T18:44:36Z)
• Disparate Impact on Group Accuracy of Linearization for Private Inference [48.27026603581436]
  多数派と比較して,ReLUアクティベーション数の減少は少数派に対する精度を著しく低下させることを示す。 また,線形化モデルの微調整手順を変更する簡単な手順が,効果的な緩和戦略として有効であることを示す。
  論文  参考訳（メタデータ） (2024-02-06T01:56:29Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Tight Certification of Adversarially Trained Neural Networks via Nonconvex Low-Rank Semidefinite Relaxations [12.589519278962378]
  本稿では,敵対的ネットワークモデルに対する非認証手法を提案する。 非認証は、より高価なSDPメソッドに匹敵する強力な認証を行う一方で、LPメソッドに匹敵する変数の最適化は劇的に少ない。 実験の結果,非認証が正反対のモデルに対するギャップをほぼ完全に埋めていることが判明した。
  論文  参考訳（メタデータ） (2022-11-30T18:46:00Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• A Unified View of SDP-based Neural Network Verification through Completely Positive Programming [27.742278216854714]
  完全正のプログラム(CPP)としての検証の正確で凸な定式化を開発する。 我々の定式化は最小限であり、基本的にニューラルネットワークの計算を誤って表現する制約の除去であることを示す分析を提供する。
  論文  参考訳（メタデータ） (2022-03-06T19:23:09Z)
• DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting [70.62923754433461]
  入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。 解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-16T20:43:49Z)
• Towards Optimal Branching of Linear and Semidefinite Relaxations for Neural Network Robustness Certification [10.349616734896522]
  本研究では,ReLUニューラルネットワークの逆入力摂動に対する堅牢性を検証する。 入力不確実性集合を分割し,各部分の緩和を個別に解くために,分岐とバウンドのアプローチをとる。 提案手法は緩和誤差を低減し,ReLUアクティベーションの性質を活かしたパーティションを用いてLP緩和を行うことによって完全に誤差を除去することを示す。
  論文  参考訳（メタデータ） (2021-01-22T19:36:40Z)
• Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers [72.56180590447835]
  凸緩和は、ノルムバウンドの敵攻撃に対するトレーニングとニューラルネットワークの認証に有効であるが、認証と経験的堅牢性の間に大きなギャップを残している。 非正規化ベースラインよりも高い精度でトレーニング可能なニューラルネットワークのトレーニングに使用できる2つの実験を提案する。
  論文  参考訳（メタデータ） (2020-02-22T20:19:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。