論文の概要: Efficient Neural Network Analysis with Sum-of-Infeasibilities

• arxiv url: http://arxiv.org/abs/2203.11201v1
• Date: Sat, 19 Mar 2022 15:05:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-26 17:23:31.498051
• Title: Efficient Neural Network Analysis with Sum-of-Infeasibilities
• Title（参考訳）: ほぼ不可能なニューラルネットワーク解析
• Authors: Haoze Wu, Aleksandar Zelji\'c, Guy Katz, Clark Barrett
• Abstract要約: 凸最適化における総和係数法に着想を得て,広範な分岐関数を持つネットワーク上での検証クエリを解析するための新しい手法を提案する。 標準ケース分析に基づく完全探索手順の拡張は、各検索状態で実行される凸手順をDeepSoIに置き換えることによって達成できる。
• 参考スコア（独自算出の注目度）: 64.31536828511021
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by sum-of-infeasibilities methods in convex optimization, we propose a novel procedure for analyzing verification queries on neural networks with piecewise-linear activation functions. Given a convex relaxation which over-approximates the non-convex activation functions, we encode the violations of activation functions as a cost function and optimize it with respect to the convex relaxation. The cost function, referred to as the Sum-of-Infeasibilities (SoI), is designed so that its minimum is zero and achieved only if all the activation functions are satisfied. We propose a stochastic procedure, DeepSoI, to efficiently minimize the SoI. An extension to a canonical case-analysis-based complete search procedure can be achieved by replacing the convex procedure executed at each search state with DeepSoI. Extending the complete search with DeepSoI achieves multiple simultaneous goals: 1) it guides the search towards a counter-example; 2) it enables more informed branching decisions; and 3) it creates additional opportunities for bound derivation. An extensive evaluation across different benchmarks and solvers demonstrates the benefit of the proposed techniques. In particular, we demonstrate that SoI significantly improves the performance of an existing complete search procedure. Moreover, the SoI-based implementation outperforms other state-of-the-art complete verifiers. We also show that our technique can efficiently improve upon the perturbation bound derived by a recent adversarial attack algorithm.
• Abstract（参考訳）: 凸最適化における総和係数法に着想を得て,ニューラルネットワーク上での検証クエリを一方向の活性化関数で解析する手法を提案する。 非凸活性化関数を近似する凸緩和を考えると、活性化関数の違反をコスト関数として符号化し、凸緩和に関して最適化する。 コスト関数は Sum-of-Infeasibility (SoI) と呼ばれ、最小限がゼロであり、全てのアクティベーション関数が満たされた場合にのみ達成されるように設計されている。 soiを効率的に最小化するための確率的手続きであるdeepsoiを提案する。 標準ケース分析に基づく完全探索手順の拡張は、各検索状態で実行される凸手順をDeepSoIに置き換えることによって達成できる。 DeepSoIで完全な検索を拡張することは、複数の同時ゴールを達成する。 1) 反例に対する探索を案内する。 2)より情報的な分岐決定を可能にする。 3) 有界導出のための新たな機会を生み出す。 異なるベンチマークとソルバにまたがる広範な評価は、提案手法の利点を示している。 特に,SoIが既存の完全探索手順の性能を大幅に向上させることを示す。 さらに、SoIベースの実装は、他の最先端の完全検証よりも優れている。 また,本手法は,近年の逆攻撃アルゴリズムによる摂動境界を効率的に改善できることを示す。

関連論文リスト

• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization [50.10952609321302]
  合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。 構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。 本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:57:21Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Gleo-Det: Deep Convolution Feature-Guided Detector with Local Entropy Optimization for Salient Points [5.955667705173262]
  本稿では, 深い畳み込み特徴のガイダンスを伴い, 繰り返し可能性の要求に基づき, きめ細かな制約を実現することを提案する。 畳み込み特徴のガイダンスを用いて、正と負の両面からコスト関数を定義する。
  論文  参考訳（メタデータ） (2022-04-27T12:40:21Z)
• Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
  本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。 インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
  論文  参考訳（メタデータ） (2021-07-30T07:25:07Z)
• Global Optimization of Objective Functions Represented by ReLU Networks [77.55969359556032]
  ニューラルネットワークは複雑で非敵対的な関数を学ぶことができ、安全クリティカルな文脈でそれらの正しい振る舞いを保証することは困難である。 ネットワーク内の障害を見つけるための多くのアプローチ(例えば、敵の例)があるが、これらは障害の欠如を保証できない。 本稿では,最適化プロセスを検証手順に統合し,本手法よりも優れた性能を実現する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T08:19:48Z)
• Multi-Fidelity Bayesian Optimization via Deep Neural Networks [19.699020509495437]
  多くのアプリケーションでは、目的関数を複数の忠実度で評価することで、コストと精度のトレードオフを可能にする。 本稿では,DNN-MFBO(Deep Neural Network Multi-Fidelity Bayesian Optimization)を提案する。 本手法の利点は, 総合的なベンチマークデータセットと, 工学設計における実世界の応用の両方にある。
  論文  参考訳（メタデータ） (2020-07-06T23:28:40Z)
• A New One-Point Residual-Feedback Oracle For Black-Box Learning and Control [28.679167097106813]
  本稿では,各反復で関数値を1回クエリし,2つの連続点間の残差を用いて勾配を推定する新しい一点フィードバック方式を提案する。 提案アルゴリズムは,制御不能なデータサンプルを持つ2点スキームと同じ収束率が得られることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:31:13Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。