論文の概要: A Unified View of SDP-based Neural Network Verification through Completely Positive Programming

• arxiv url: http://arxiv.org/abs/2203.03034v1
• Date: Sun, 6 Mar 2022 19:23:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 18:40:33.387274
• Title: A Unified View of SDP-based Neural Network Verification through Completely Positive Programming
• Title（参考訳）: 完全正のプログラミングによるSDPに基づくニューラルネットワーク検証の一考察
• Authors: Robin Brown, Edward Schmerling, Navid Azizan, Marco Pavone
• Abstract要約: 完全正のプログラム(CPP)としての検証の正確で凸な定式化を開発する。 我々の定式化は最小限であり、基本的にニューラルネットワークの計算を誤って表現する制約の除去であることを示す分析を提供する。
• 参考スコア（独自算出の注目度）: 27.742278216854714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Verifying that input-output relationships of a neural network conform to prescribed operational specifications is a key enabler towards deploying these networks in safety-critical applications. Semidefinite programming (SDP)-based approaches to Rectified Linear Unit (ReLU) network verification transcribe this problem into an optimization problem, where the accuracy of any such formulation reflects the level of fidelity in how the neural network computation is represented, as well as the relaxations of intractable constraints. While the literature contains much progress on improving the tightness of SDP formulations while maintaining tractability, comparatively little work has been devoted to the other extreme, i.e., how to most accurately capture the original verification problem before SDP relaxation. In this work, we develop an exact, convex formulation of verification as a completely positive program (CPP), and provide analysis showing that our formulation is minimal -- the removal of any constraint fundamentally misrepresents the neural network computation. We leverage our formulation to provide a unifying view of existing approaches, and give insight into the source of large relaxation gaps observed in some cases.
• Abstract（参考訳）: ニューラルネットワークの入出力関係が所定の運用仕様に準拠していることを検証することは、これらのネットワークを安全クリティカルなアプリケーションにデプロイするための重要な手段である。 SDP(Semidefinite Programming)に基づくRectified Linear Unit (ReLU)ネットワーク検証のアプローチは、この問題を最適化問題に書き起こし、そのような定式化の正確さは、ニューラルネットワークの計算の表現方法における忠実さのレベルを反映し、難解な制約の緩和を反映している。 論文は, sdp 定式化の厳密性向上に向けた進歩を多く含んでいるが, 比較的少ない作業は, sdp 緩和前に元の検証問題を最も正確に把握する方法である。 本研究では、完全正のプログラム(CPP)としての検証の正確な凸定式化を開発し、我々の定式化が最小であることを示す分析を提供する。 我々は,既存のアプローチの統一的な視点を提供し,あるケースで観測される大きな緩和ギャップの原因を考察するために,定式化を利用する。

関連論文リスト

• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Efficient Uncertainty Quantification and Reduction for Over-Parameterized Neural Networks [23.7125322065694]
  不確実性定量化(UQ)は、機械学習モデルの信頼性評価と強化に重要である。 統計学的に保証されたスキームを作成し、主に、過剰パラメータ化ニューラルネットワークの不確実性である、エンフェラクタライズし、エンフェレモーブする。 特に,PNC予測器(Procedural-noise-correcting, Procedural-noise-correcting, PNC)に基づくアプローチでは,適切なラベル付きデータセットでトレーニングされたEmphone補助ネットワークのみを用いることで,手続き的不確実性を取り除く。
  論文  参考訳（メタデータ） (2023-06-09T05:15:53Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)
• Precise Multi-Neuron Abstractions for Neural Network Certification [2.149265948858581]
  PRIMAは任意の非線形アクティベーションの正確な凸近似を計算するフレームワークです。 ReLU, Sigmoid, Tanhアクティベーションを用いたチャレンジングニューラルネットワークにおけるPRIMAの有効性を評価する。
  論文  参考訳（メタデータ） (2021-03-05T12:53:24Z)
• Towards Optimal Branching of Linear and Semidefinite Relaxations for Neural Network Robustness Certification [10.349616734896522]
  本研究では,ReLUニューラルネットワークの逆入力摂動に対する堅牢性を検証する。 入力不確実性集合を分割し,各部分の緩和を個別に解くために,分岐とバウンドのアプローチをとる。 提案手法は緩和誤差を低減し,ReLUアクティベーションの性質を活かしたパーティションを用いてLP緩和を行うことによって完全に誤差を除去することを示す。
  論文  参考訳（メタデータ） (2021-01-22T19:36:40Z)
• Enabling certification of verification-agnostic networks via memory-efficient semidefinite programming [97.40955121478716]
  本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。 L-inf の精度は 1% から 88% ,6% から 40% に改善した。 また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
  論文  参考訳（メタデータ） (2020-10-22T12:32:29Z)
• A Sequential Framework Towards an Exact SDP Verification of Neural Networks [14.191310794366075]
  ニューラルネットワークのロバスト性を研究するために,凸最適化に基づくいくつかの手法が文献で提案されている。 堅牢な認証アプローチの課題は、大きな緩和ギャップがあることです。 本研究では,このギャップをゼロに縮めるための逐次プログラミングフレームワークを開発することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-10-16T19:45:11Z)
• Global Optimization of Objective Functions Represented by ReLU Networks [77.55969359556032]
  ニューラルネットワークは複雑で非敵対的な関数を学ぶことができ、安全クリティカルな文脈でそれらの正しい振る舞いを保証することは困難である。 ネットワーク内の障害を見つけるための多くのアプローチ(例えば、敵の例)があるが、これらは障害の欠如を保証できない。 本稿では,最適化プロセスを検証手順に統合し,本手法よりも優れた性能を実現する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T08:19:48Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Tightened Convex Relaxations for Neural Network Robustness Certification [10.68833097448566]
  我々は、ReLUネットワークの構造を利用して、新しいパーティションベースの認証手順により緩和誤差を改善する。 提案手法は, 既存の線形プログラミング緩和を厳格化することが証明され, 結果がより微細になるにつれて, 緩和誤差がゼロとなる。
  論文  参考訳（メタデータ） (2020-04-01T16:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。