論文の概要: Neural Network Verification with Branch-and-Bound for General Nonlinearities
- arxiv url: http://arxiv.org/abs/2405.21063v1
- Date: Fri, 31 May 2024 17:51:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 13:09:46.685503
- Title: Neural Network Verification with Branch-and-Bound for General Nonlinearities
- Title(参考訳): 一般非線形性のための分岐境界を用いたニューラルネットワークの検証
- Authors: Zhouxing Shi, Qirui Jin, Zico Kolter, Suman Jana, Cho-Jui Hsieh, Huan Zhang,
- Abstract要約: ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証の最も効果的な方法の一つである。
我々は、一般的な計算グラフにおける一般的な非線形性に対してBaBを実行するための一般的なフレームワークGenBaBを開発した。
我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つネットワークを含む幅広いNNの検証におけるGenBaBの有効性を実証する。
- 参考スコア(独自算出の注目度): 63.39918329535165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Branch-and-bound (BaB) is among the most effective methods for neural network (NN) verification. However, existing works on BaB have mostly focused on NNs with piecewise linear activations, especially ReLU networks. In this paper, we develop a general framework, named GenBaB, to conduct BaB for general nonlinearities in general computational graphs based on linear bound propagation. To decide which neuron to branch, we design a new branching heuristic which leverages linear bounds as shortcuts to efficiently estimate the potential improvement after branching. To decide nontrivial branching points for general nonlinear functions, we propose to optimize branching points offline, which can be efficiently leveraged during verification with a lookup table. We demonstrate the effectiveness of our GenBaB on verifying a wide range of NNs, including networks with activation functions such as Sigmoid, Tanh, Sine and GeLU, as well as networks involving multi-dimensional nonlinear operations such as multiplications in LSTMs and Vision Transformers. Our framework also allows the verification of general nonlinear computation graphs and enables verification applications beyond simple neural networks, particularly for AC Optimal Power Flow (ACOPF). GenBaB is part of the latest $\alpha,\!\beta$-CROWN, the winner of the 4th International Verification of Neural Networks Competition (VNN-COMP 2023).
- Abstract(参考訳): ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証の最も効果的な方法の一つである。
しかし、BaB の既存の研究は、主に線形に活性化するNN、特に ReLU ネットワークに焦点を当てている。
本稿では、線形有界伝播に基づく一般計算グラフにおいて、一般非線形性に対してBaBを実行するためのGenBaBという一般的なフレームワークを開発する。
分岐するニューロンを決定するために、線形境界をショートカットとして利用し、分岐後の潜在的な改善を効率的に推定する新しい分岐ヒューリスティックを設計する。
一般非線形関数に対する非自明な分岐点を決定するために,探索表を用いた検証において効率よく活用できる分岐点をオフラインで最適化することを提案する。
我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つネットワークや、LSTMやVision Transformerの乗算などの多次元非線形演算を含むネットワークを含む、幅広いNNの検証におけるGenBaBの有効性を実証する。
我々のフレームワークは、一般的な非線形計算グラフの検証も可能で、特にAC Optimal Power Flow (ACOPF) において、単純なニューラルネットワークを超える検証を可能としています。
GenBaBは最新の$\alpha,\!
第4回国際ニューラルネットワークコンペティション(VNN-COMP 2023)優勝者。
関連論文リスト
- Forward Learning of Graph Neural Networks [17.79590285482424]
バックプロパゲーション(BP)はディープニューラルネットワーク(NN)のトレーニングにおけるデファクトスタンダードである
BPは、生物学的に理解できないだけでなく、NN学習のスケーラビリティ、並列性、柔軟性を制限しているいくつかの制約を課している。
本稿では,BPの制約を回避するために,実効的なレイヤワイドローカルフォワードトレーニングを行うForwardGNNを提案する。
論文 参考訳(メタデータ) (2024-03-16T19:40:35Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳(メタデータ) (2022-09-04T06:45:33Z) - Power Flow Balancing with Decentralized Graph Neural Networks [4.812718493682454]
汎用グリッド内の電力フローのバランスをとるために,グラフニューラルネットワーク(GNN)に基づくエンドツーエンドフレームワークを提案する。
提案するフレームワークは,ディープラーニングに基づく他の解法と比較して効率的であり,グリッドコンポーネントの物理量だけでなくトポロジにも頑健である。
論文 参考訳(メタデータ) (2021-11-03T12:14:56Z) - Edge Rewiring Goes Neural: Boosting Network Resilience via Policy
Gradient [62.660451283548724]
ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。
ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
論文 参考訳(メタデータ) (2021-10-18T06:14:28Z) - Neural Network Branch-and-Bound for Neural Network Verification [26.609606492971967]
本稿では,効率的な分岐戦略を設計するための新しい機械学習フレームワークを提案する。
グラフ入力として検証したいネットワークを直接扱う2つのグラフニューラルネットワーク(GNN)を学習する。
我々のGNNモデルは、より大きな未確認ネットワーク上での厳しい特性に対してよく一般化されていることを示す。
論文 参考訳(メタデータ) (2021-07-27T14:42:57Z) - Improved Branch and Bound for Neural Network Verification via Lagrangian
Decomposition [161.09660864941603]
ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。
活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。
BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
論文 参考訳(メタデータ) (2021-04-14T09:22:42Z) - Batch Normalization with Enhanced Linear Transformation [73.9885755599221]
線形変換モジュールを適切に拡張することで、バッチ正規化(BN)の能力を効果的に改善できる
私たちのメソッドはBNETと呼ばれ、ほとんどのディープラーニングライブラリで2~3行のコードで実装できます。
我々は、BNETがネットワークトレーニングの収束を加速し、より大きな重み付けで重要なニューロンを割り当てることで空間情報を強化することを検証する。
論文 参考訳(メタデータ) (2020-11-28T15:42:36Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳(メタデータ) (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。