論文の概要: SDP-CROWN: Efficient Bound Propagation for Neural Network Verification with Tightness of Semidefinite Programming

• arxiv url: http://arxiv.org/abs/2506.06665v1
• Date: Sat, 07 Jun 2025 05:06:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.407627
• Title: SDP-CROWN: Efficient Bound Propagation for Neural Network Verification with Tightness of Semidefinite Programming
• Title（参考訳）: SDP-CROWN:半確定プログラミングの重み付きニューラルネットワーク検証のための効率的な境界伝搬
• Authors: Hong-Ming Chiu, Hao Chen, Huan Zhang, Richard Y. Zhang,
• Abstract要約: 本稿では,新しいハイブリッド検証フレームワークであるSDP-CROWNを提案する。 SDP-CROWNは、SDP緩和の厳密さと有界伝播検証器のスケーラビリティを組み合わせる。 最大65万のニューロンと247万のパラメータを持つ大モデル上での検証性能を著しく改善した。
• 参考スコア（独自算出の注目度）: 19.728899459582276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network verifiers based on linear bound propagation scale impressively to massive models but can be surprisingly loose when neuron coupling is crucial. Conversely, semidefinite programming (SDP) verifiers capture inter-neuron coupling naturally, but their cubic complexity restricts them to only small models. In this paper, we propose SDP-CROWN, a novel hybrid verification framework that combines the tightness of SDP relaxations with the scalability of bound-propagation verifiers. At the core of SDP-CROWN is a new linear bound, derived via SDP principles, that explicitly captures $\ell_{2}$-norm-based inter-neuron coupling while adding only one extra parameter per layer. This bound can be integrated seamlessly into any linear bound-propagation pipeline, preserving the inherent scalability of such methods yet significantly improving tightness. In theory, we prove that our inter-neuron bound can be up to a factor of $\sqrt{n}$ tighter than traditional per-neuron bounds. In practice, when incorporated into the state-of-the-art $\alpha$-CROWN verifier, we observe markedly improved verification performance on large models with up to 65 thousand neurons and 2.47 million parameters, achieving tightness that approaches that of costly SDP-based methods.
• Abstract（参考訳）: 線形有界伝播スケールに基づくニューラルネットワーク検証器は、大規模モデルに対して印象的だが、ニューロンの結合が不可欠である場合には驚くほど緩くなりうる。 逆に半定値プログラミング(SDP)検証器は自然にニューロン間結合をキャプチャするが、その3乗複雑さは小さなモデルに限定する。 本稿では,SDP緩和の厳密さと有界伝搬検証器のスケーラビリティを組み合わせたハイブリッド検証フレームワークであるSDP-CROWNを提案する。 SDP-CROWNの中核は、SDPの原理によって導かれた新しい線形境界であり、明示的に$\ell_{2}$-norm-based inter-neuron couplingを捕捉し、層ごとに1つの余分なパラメータしか追加しない。 このバウンダリは任意の線形境界伝搬パイプラインにシームレスに統合することができ、そのようなメソッド固有のスケーラビリティを保ちながら、タイツネスを著しく改善することができる。 理論上、我々のニューロン間境界は従来のニューロン間境界よりも強い$\sqrt{n}$の係数で証明できる。 実際に、最先端の$\alpha$-CROWN検証器に組み込むと、最大65万のニューロンと247万のパラメータを持つ大規模モデルの検証性能が著しく向上し、コストのかかるSDPベースの手法にアプローチする厳密性が達成される。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Scalable Neural Network Kernels [22.299704296356836]
  我々は、通常のフィードフォワード層(FFL)を近似できるスケーラブルニューラルネットワークカーネル(SNNK)を導入する。 また、深層ニューラルネットワークアーキテクチャのコンパクト化にSNNKを適用するニューラルネットワークバンドルプロセスについても紹介する。 我々のメカニズムは、競争精度を維持しながら、トレーニング可能なパラメータの最大5倍の削減を可能にする。
  論文  参考訳（メタデータ） (2023-10-20T02:12:56Z)
• Quantized Distributed Training of Large Models with Convergence Guarantees [34.054462975511996]
  FSDPの変種であるQSDPを理論的保証とともに量子的および重み勾配化をサポートする。 QSDPはFSDPの通信を完全に削除し,最大2.2倍の高速化を実現している。
  論文  参考訳（メタデータ） (2023-02-05T14:20:55Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Chordal Sparsity for SDP-based Neural Network Verification [1.9556053645976446]
  ニューラルネットワーク検証のための半定値プログラミング(SDP)に基づく手法の改善に焦点をあてる。 弦の間隔を利用して、DeepSDPの計算ボトルネックを、より小さなLMIの等価なコレクションに分解することができる。 また,Chordal-DeepSDPのさらなる解析により,LMIのコレクションを第2レベルの分解で書き直せることを示す。
  論文  参考訳（メタデータ） (2022-06-07T17:57:53Z)
• Beta-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Complete and Incomplete Neural Network Verification [151.62491805851107]
  私たちは、ニューロン毎の分割を完全にエンコードできるバウンド伝搬ベースの検証器である$beta$-crownを開発した。 Beta$-CROWNはLPベースのBaB法よりも3桁近い速さで堅牢性検証が可能です。 BaBを早期に終了することにより、不完全な検証にも使用できます。
  論文  参考訳（メタデータ） (2021-03-11T11:56:54Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Deep Latent-Variable Kernel Learning [25.356503463916816]
  本稿では,潜在変数が正規化表現の符号化を行う完全潜時可変カーネル学習(DLVKL)モデルを提案する。 実験により、DLVKL-NSDEは、小さなデータセット上でよく校正されたGPと同様に動作し、大きなデータセット上で既存のディープGPより優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-18T05:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。