論文の概要: BNN-DP: Robustness Certification of Bayesian Neural Networks via Dynamic
Programming
- arxiv url: http://arxiv.org/abs/2306.10742v1
- Date: Mon, 19 Jun 2023 07:19:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 18:44:33.281083
- Title: BNN-DP: Robustness Certification of Bayesian Neural Networks via Dynamic
Programming
- Title（参考訳）: BNN-DP:動的プログラミングによるベイズニューラルネットワークのロバスト性証明
- Authors: Steven Adams, Andrea Patane, Morteza Lahijanian, Luca Laurenti
- Abstract要約: ベイジアンニューラルネットワークの対向ロバスト性解析のための効率的なフレームワークであるBNN-DPを紹介する。
BNN-DPは, 境界の厳密性と計算効率の両面において, 最先端の手法を最大4桁上回る性能を示した。
- 参考スコア（独自算出の注目度）: 8.162867143465382
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce BNN-DP, an efficient algorithmic framework for
analysis of adversarial robustness of Bayesian Neural Networks (BNNs). Given a
compact set of input points $T\subset \mathbb{R}^n$, BNN-DP computes lower and
upper bounds on the BNN's predictions for all the points in $T$. The framework
is based on an interpretation of BNNs as stochastic dynamical systems, which
enables the use of Dynamic Programming (DP) algorithms to bound the prediction
range along the layers of the network. Specifically, the method uses bound
propagation techniques and convex relaxations to derive a backward recursion
procedure to over-approximate the prediction range of the BNN with piecewise
affine functions. The algorithm is general and can handle both regression and
classification tasks. On a set of experiments on various regression and
classification tasks and BNN architectures, we show that BNN-DP outperforms
state-of-the-art methods by up to four orders of magnitude in both tightness of
the bounds and computational efficiency.
- Abstract（参考訳）: 本稿では,ベイズニューラルネットワーク(BNN)の対角的堅牢性解析のための効率的なアルゴリズムフレームワークであるBNN-DPを紹介する。
入力点のコンパクトな集合$T\subset \mathbb{R}^n$ が与えられたとき、BNN-DP は BNN の予測上の下限と上限を$T$ で計算する。
このフレームワークは、bnnを確率力学系として解釈することに基づいており、ネットワークの層に沿って予測範囲を制限するために動的プログラミング(dp)アルゴリズムを利用することができる。
具体的には、バウンド伝搬法と凸緩和法を用いて後方再帰法を導出し、BNNの予測範囲を断片的アフィン関数でオーバー近似する。
アルゴリズムは一般的であり、回帰と分類の両方のタスクを処理できる。
各種回帰および分類タスクとBNNアーキテクチャに関する一連の実験において、BNN-DPは、境界の厳密性と計算効率の両方において、最先端の手法よりも最大4桁高い性能を示すことを示した。
関連論文リスト
- A lifted Bregman strategy for training unfolded proximal neural network Gaussian denoisers [8.343594411714934]
屈曲した近位ニューラルネットワーク(PNN)は、深層学習と近位最適化のアプローチを組み合わせた一連の手法である。
展開されたPNNに対するBregman距離に基づく揚力トレーニングの定式化を提案する。
画像復調の数値シミュレーションにより,提案したPNNのトレーニング手法の挙動を評価する。
論文 参考訳（メタデータ） (2024-08-16T13:41:34Z) - DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。
BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。
半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文 参考訳（メタデータ） (2024-06-04T07:24:51Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - Anisotropic, Sparse and Interpretable Physics-Informed Neural Networks
for PDEs [0.0]
我々は,従来のSPINN(Sparse, Physics-informed, Interpretable Neural Networks)と呼ばれる異方性拡張であるASPINNを提案し,PDEを解く。
ASPINNはラジアル基底関数ネットワークを一般化する。
また、ASPINNのトレーニングを教師付き学習アルゴリズムに近い形式に合理化します。
論文 参考訳（メタデータ） (2022-07-01T12:24:43Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - A Mixed Integer Programming Approach for Verifying Properties of
Binarized Neural Networks [44.44006029119672]
BNN検証のための混合整数計画法を提案する。
我々は,MNISTデータセットと航空機衝突回避制御器を用いて訓練したBNNの特性を検証することによって,我々のアプローチを実証する。
論文 参考訳（メタデータ） (2022-03-11T01:11:29Z) - Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。
バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文 参考訳（メタデータ） (2021-12-12T17:13:14Z) - A comprehensive review of Binary Neural Network [2.918940961856197]
バイナリニューラルネットワーク(BNN)は、畳み込みニューラルネットワーク(CNN)パラメータ量子化の極端な応用である。
近年のBNNの発展により、この問題に対処する多くのアルゴリズムやソリューションが生まれている。
論文 参考訳（メタデータ） (2021-10-11T22:44:15Z) - Encoding the latent posterior of Bayesian Neural Networks for
uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。
可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。
我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文 参考訳（メタデータ） (2020-12-04T19:50:09Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。