論文の概要: Interior-Point Vanishing Problem in Semidefinite Relaxations for Neural Network Verification

• arxiv url: http://arxiv.org/abs/2506.10269v1
• Date: Thu, 12 Jun 2025 01:25:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.512599
• Title: Interior-Point Vanishing Problem in Semidefinite Relaxations for Neural Network Verification
• Title（参考訳）: ニューラルネットワーク検証のための半有限緩和における内部点消滅問題
• Authors: Ryota Ueda, Takami Sato, Ken Kobayashi, Kazuhide Nakata,
• Abstract要約: ニューラルネットワーク検証のための有望なアプローチとしてセミデフィニティプログラミング(SDP)緩和が出現している。 深層ネットワークに適用した場合のSDP緩和の限界は,内部点消滅である。 検証問題の実現可能性を高めるための5つの解について検討する。
• 参考スコア（独自算出の注目度）: 9.063592930122113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semidefinite programming (SDP) relaxation has emerged as a promising approach for neural network verification, offering tighter bounds than other convex relaxation methods for deep neural networks (DNNs) with ReLU activations. However, we identify a critical limitation in the SDP relaxation when applied to deep networks: interior-point vanishing, which leads to the loss of strict feasibility -- a crucial condition for the numerical stability and optimality of SDP. Through rigorous theoretical and empirical analysis, we demonstrate that as the depth of DNNs increases, the strict feasibility is likely to be lost, creating a fundamental barrier to scaling SDP-based verification. To address the interior-point vanishing, we design and investigate five solutions to enhance the feasibility conditions of the verification problem. Our methods can successfully solve 88% of the problems that could not be solved by existing methods, accounting for 41% of the total. Our analysis also reveals that the valid constraints for the lower and upper bounds for each ReLU unit are traditionally inherited from prior work without solid reasons, but are actually not only unbeneficial but also even harmful to the problem's feasibility. This work provides valuable insights into the fundamental challenges of SDP-based DNN verification and offers practical solutions to improve its applicability to deeper neural networks, contributing to the development of more reliable and secure systems with DNNs.
• Abstract（参考訳）: 半有限プログラミング(SDP)緩和は、ニューラルネットワーク検証の有望なアプローチとして現れ、ReLUアクティベーションを備えたディープニューラルネットワーク(DNN)の他の凸緩和方法よりも厳密な境界を提供する。 しかし, 深層ネットワークに適用した場合のSDP緩和の限界は, 厳密な実現可能性の喪失につながる内部点消滅であり, SDPの数値安定性と最適性にとって重要な条件である。 厳密な理論的および実証的な分析を通じて、DNNの深さが増加するにつれて、厳密な実現可能性を失うことが示され、SDPベースの検証をスケールするための根本的な障壁となる。 内部点消滅に対処するため,検証問題の実現可能性を高めるための5つのソリューションを設計,検討した。 提案手法は,既存手法では解けない問題の88%を解き,全体の41%を占める。 分析の結果,各ReLUユニットの下位および上限の制約は,従来は確固とした理由なく,従来の作業から受け継がれてきたが,実際は不便なだけでなく,問題の実現可能性にも有害であることがわかった。 この研究は、SDPベースのDNN検証の基本的な課題に関する貴重な洞察を提供し、より深いニューラルネットワークへの適用性を改善するための実用的なソリューションを提供し、DNNによるより信頼性が高く安全なシステムの開発に寄与する。

関連論文リスト

• Enhancing Uncertainty Estimation and Interpretability via Bayesian Non-negative Decision Layer [55.66973223528494]
  本研究では, ディープニューラルネットワークを条件付きベイズ非負因子分析として再構成したベイズ非負決定層(BNDL)を開発した。 BNDLは複雑な依存関係をモデル化し、堅牢な不確実性推定を提供する。 また,BNDLが効果的に不整合学習を達成できるという理論的保証も提供する。
  論文  参考訳（メタデータ） (2025-05-28T10:23:34Z)
• Scalable and Efficient Methods for Uncertainty Estimation and Reduction in Deep Learning [0.0]
  本稿では,ディープラーニングにおける不確実性推定と削減のためのスケーラブルで効率的な手法について検討する。 アウト・オブ・ディストリビューション・インプットとハードウェアの非理想性に起因する不確実性に対処する。 提案手法は,問題認識学習アルゴリズム,新しいNNトポロジ,ハードウェア共同設計ソリューションを含む。
  論文  参考訳（メタデータ） (2024-01-13T19:30:34Z)
• OccRob: Efficient SMT-Based Occlusion Robustness Verification of Deep Neural Networks [7.797299214812479]
  Occlusionは、ディープニューラルネットワーク(DNN)に対する一般的かつ容易に実現可能なセマンティック摂動である DNNを騙していくつかのセグメントを隠蔽することで入力画像を誤分類し、おそらく深刻なエラーを引き起こす可能性がある。 DNNの既存のロバスト性検証アプローチは、非意味的な摂動に重点を置いている。
  論文  参考訳（メタデータ） (2023-01-27T18:54:00Z)
• The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural Networks [94.63547069706459]
  #DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。 違反の正確な数を返す新しい手法を提案する。 安全クリティカルなベンチマークのセットに関する実験結果を示す。
  論文  参考訳（メタデータ） (2023-01-17T18:32:01Z)
• Measurement-Consistent Networks via a Deep Implicit Layer for Solving Inverse Problems [0.0]
  エンドツーエンドのディープニューラルネットワーク(DNN)は、逆問題を解決するための最先端のSOTA(State-of-the-art)になっている。 これらのネットワークは、トレーニングパイプラインの小さなバリエーションに敏感であり、小さなが重要な詳細を再構築することができないことが多い。 本稿では,逆問題に対して任意のDNNを計測一貫性に変換するフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-06T17:05:04Z)
• Chordal Sparsity for SDP-based Neural Network Verification [1.9556053645976446]
  ニューラルネットワーク検証のための半定値プログラミング(SDP)に基づく手法の改善に焦点をあてる。 弦の間隔を利用して、DeepSDPの計算ボトルネックを、より小さなLMIの等価なコレクションに分解することができる。 また,Chordal-DeepSDPのさらなる解析により,LMIのコレクションを第2レベルの分解で書き直せることを示す。
  論文  参考訳（メタデータ） (2022-06-07T17:57:53Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• A Unified View of SDP-based Neural Network Verification through Completely Positive Programming [27.742278216854714]
  完全正のプログラム(CPP)としての検証の正確で凸な定式化を開発する。 我々の定式化は最小限であり、基本的にニューラルネットワークの計算を誤って表現する制約の除去であることを示す分析を提供する。
  論文  参考訳（メタデータ） (2022-03-06T19:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。