論文の概要: A Sequential Framework Towards an Exact SDP Verification of Neural Networks

• arxiv url: http://arxiv.org/abs/2010.08603v2
• Date: Mon, 27 Sep 2021 07:15:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 22:07:14.862581
• Title: A Sequential Framework Towards an Exact SDP Verification of Neural Networks
• Title（参考訳）: ニューラルネットワークの厳密なsdp検証に向けた逐次的枠組み
• Authors: Ziye Ma, Somayeh Sojoudi
• Abstract要約: ニューラルネットワークのロバスト性を研究するために,凸最適化に基づくいくつかの手法が文献で提案されている。 堅牢な認証アプローチの課題は、大きな緩和ギャップがあることです。 本研究では,このギャップをゼロに縮めるための逐次プログラミングフレームワークを開発することで,この問題に対処する。
• 参考スコア（独自算出の注目度）: 14.191310794366075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although neural networks have been applied to several systems in recent years, they still cannot be used in safety-critical systems due to the lack of efficient techniques to certify their robustness. A number of techniques based on convex optimization have been proposed in the literature to study the robustness of neural networks, and the semidefinite programming (SDP) approach has emerged as a leading contender for the robust certification of neural networks. The major challenge to the SDP approach is that it is prone to a large relaxation gap. In this work, we address this issue by developing a sequential framework to shrink this gap to zero by adding non-convex cuts to the optimization problem via disjunctive programming. We analyze the performance of this sequential SDP method both theoretically and empirically, and show that it bridges the gap as the number of cuts increases.
• Abstract（参考訳）: 近年、ニューラルネットワークはいくつかのシステムに適用されているが、その堅牢性を証明する効率的な技術がないため、安全クリティカルなシステムでは使用できない。 ニューラルネットワークのロバスト性を研究するために,凸最適化に基づくいくつかの手法が提案されており,ニューラルネットワークのロバスト認証の先駆けとして半定値プログラミング(SDP)アプローチが登場している。 SDPアプローチの最大の課題は、大きな緩和ギャップがあることだ。 本稿では,このギャップをゼロに縮小するシーケンシャルフレームワークを開発し,分離型プログラミングによる最適化問題に非凸カットを加えることで,この問題に対処した。 本研究では,この逐次sdp法の性能を理論的および経験的に解析し,カット数の増加に伴ってギャップを橋渡しすることを示す。

関連論文リスト

• Confident magnitude-based neural network pruning [0.0]
  ニューラルネットワークのプルーニングは、ディープラーニングモデルの効率向上とメモリストレージの削減に成功している。 我々は、分布のない不確実性定量化に関する最近の技術を活用し、深いニューラルネットワークを圧縮するための有限サンプル統計保証を提供する。 この研究は、不確実性を認識したプルーニングが、スパースニューラルネットワークを安全にデプロイするための有用なアプローチであることを示すために、コンピュータビジョンタスクでの実験を示す。
  論文  参考訳（メタデータ） (2024-08-08T21:29:20Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• On Optimizing Back-Substitution Methods for Neural Network Verification [1.4394939014120451]
  本稿では, 後方置換がより厳密な境界を生じさせるアプローチを提案する。 我々の技術は、多くの既存のシンボル境界伝搬技術に統合できるという意味で、一般的なものである。
  論文  参考訳（メタデータ） (2022-08-16T11:16:44Z)
• Chordal Sparsity for SDP-based Neural Network Verification [1.9556053645976446]
  ニューラルネットワーク検証のための半定値プログラミング(SDP)に基づく手法の改善に焦点をあてる。 弦の間隔を利用して、DeepSDPの計算ボトルネックを、より小さなLMIの等価なコレクションに分解することができる。 また,Chordal-DeepSDPのさらなる解析により,LMIのコレクションを第2レベルの分解で書き直せることを示す。
  論文  参考訳（メタデータ） (2022-06-07T17:57:53Z)
• A Unified View of SDP-based Neural Network Verification through Completely Positive Programming [27.742278216854714]
  完全正のプログラム(CPP)としての検証の正確で凸な定式化を開発する。 我々の定式化は最小限であり、基本的にニューラルネットワークの計算を誤って表現する制約の除去であることを示す分析を提供する。
  論文  参考訳（メタデータ） (2022-03-06T19:23:09Z)
• Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent [95.94432031144716]
  学習ネットワークの分析のための統合された非最適化フレームワークを提案する。 既存の保証は勾配降下により統一することができることを示す。
  論文  参考訳（メタデータ） (2021-06-25T17:45:00Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。