論文の概要: Neural Network Verification with Branch-and-Bound for General Nonlinearities

• arxiv url: http://arxiv.org/abs/2405.21063v1
• Date: Fri, 31 May 2024 17:51:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 13:09:46.685503
• Title: Neural Network Verification with Branch-and-Bound for General Nonlinearities
• Title（参考訳）: 一般非線形性のための分岐境界を用いたニューラルネットワークの検証
• Authors: Zhouxing Shi, Qirui Jin, Zico Kolter, Suman Jana, Cho-Jui Hsieh, Huan Zhang,
• Abstract要約: ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証の最も効果的な方法の一つである。 我々は、一般的な計算グラフにおける一般的な非線形性に対してBaBを実行するための一般的なフレームワークGenBaBを開発した。 我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つネットワークを含む幅広いNNの検証におけるGenBaBの有効性を実証する。
• 参考スコア（独自算出の注目度）: 63.39918329535165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Branch-and-bound (BaB) is among the most effective methods for neural network (NN) verification. However, existing works on BaB have mostly focused on NNs with piecewise linear activations, especially ReLU networks. In this paper, we develop a general framework, named GenBaB, to conduct BaB for general nonlinearities in general computational graphs based on linear bound propagation. To decide which neuron to branch, we design a new branching heuristic which leverages linear bounds as shortcuts to efficiently estimate the potential improvement after branching. To decide nontrivial branching points for general nonlinear functions, we propose to optimize branching points offline, which can be efficiently leveraged during verification with a lookup table. We demonstrate the effectiveness of our GenBaB on verifying a wide range of NNs, including networks with activation functions such as Sigmoid, Tanh, Sine and GeLU, as well as networks involving multi-dimensional nonlinear operations such as multiplications in LSTMs and Vision Transformers. Our framework also allows the verification of general nonlinear computation graphs and enables verification applications beyond simple neural networks, particularly for AC Optimal Power Flow (ACOPF). GenBaB is part of the latest $\alpha,\!\beta$-CROWN, the winner of the 4th International Verification of Neural Networks Competition (VNN-COMP 2023).
• Abstract（参考訳）: ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証の最も効果的な方法の一つである。 しかし、BaB の既存の研究は、主に線形に活性化するNN、特に ReLU ネットワークに焦点を当てている。 本稿では、線形有界伝播に基づく一般計算グラフにおいて、一般非線形性に対してBaBを実行するためのGenBaBという一般的なフレームワークを開発する。 分岐するニューロンを決定するために、線形境界をショートカットとして利用し、分岐後の潜在的な改善を効率的に推定する新しい分岐ヒューリスティックを設計する。 一般非線形関数に対する非自明な分岐点を決定するために,探索表を用いた検証において効率よく活用できる分岐点をオフラインで最適化することを提案する。 我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つネットワークや、LSTMやVision Transformerの乗算などの多次元非線形演算を含むネットワークを含む、幅広いNNの検証におけるGenBaBの有効性を実証する。 我々のフレームワークは、一般的な非線形計算グラフの検証も可能で、特にAC Optimal Power Flow (ACOPF) において、単純なニューラルネットワークを超える検証を可能としています。 GenBaBは最新の$\alpha,\! 第4回国際ニューラルネットワークコンペティション(VNN-COMP 2023)優勝者。

関連論文リスト

• Forward Learning of Graph Neural Networks [17.79590285482424]
  バックプロパゲーション(BP)はディープニューラルネットワーク(NN)のトレーニングにおけるデファクトスタンダードである BPは、生物学的に理解できないだけでなく、NN学習のスケーラビリティ、並列性、柔軟性を制限しているいくつかの制約を課している。 本稿では,BPの制約を回避するために,実効的なレイヤワイドローカルフォワードトレーニングを行うForwardGNNを提案する。
  論文  参考訳（メタデータ） (2024-03-16T19:40:35Z)
• Provably Safe Neural Network Controllers via Differential Dynamic Logic [2.416907802598482]
  NNCS検証のための制御理論の再利用を可能にする最初の一般手法を提案する。 dLの安全な制御エンベロープに基づいて、NN検証によって証明されたNNの仕様を導出する。 本稿では,NNCS の無限時間安全に関する dL 証明によって,仕様に忠実な NNCS の証明が反映されていることを示す。
  論文  参考訳（メタデータ） (2024-02-16T16:15:25Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Posterior Regularized Bayesian Neural Network Incorporating Soft and Hard Knowledge Constraints [12.050265348673078]
  本稿では,異なる種類の知識制約を組み込んだ後正規化ベイズニューラルネットワーク(PR-BNN)モデルを提案する。 航空機着陸予測と太陽エネルギー出力予測のシミュレーション実験と2つのケーススタディにより,提案モデルの知識制約と性能改善が示された。
  論文  参考訳（メタデータ） (2022-10-16T18:58:50Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Neural Network Branch-and-Bound for Neural Network Verification [26.609606492971967]
  本稿では,効率的な分岐戦略を設計するための新しい機械学習フレームワークを提案する。 グラフ入力として検証したいネットワークを直接扱う2つのグラフニューラルネットワーク(GNN)を学習する。 我々のGNNモデルは、より大きな未確認ネットワーク上での厳しい特性に対してよく一般化されていることを示す。
  論文  参考訳（メタデータ） (2021-07-27T14:42:57Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。