論文の概要: BERN-NN: Tight Bound Propagation For Neural Networks Using Bernstein Polynomial Interval Arithmetic

• arxiv url: http://arxiv.org/abs/2211.14438v1
• Date: Tue, 22 Nov 2022 20:42:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-04 14:15:41.409185
• Title: BERN-NN: Tight Bound Propagation For Neural Networks Using Bernstein Polynomial Interval Arithmetic
• Title（参考訳）: BERN-NN: Bernstein Polynomial Interval Arithmetic を用いたニューラルネットワークのタイト境界伝播
• Authors: Wael Fatnassi, Haitham Khedr, Valen Yamamoto, Yasser Shoukry
• Abstract要約: 境界伝搬は、幅広いNNモデルと到達可能性解析ツールにおいて重要なステップである。 ニューラルネットワーク(NN)の有界伝播を行うための効率的なツールとしてBERN-NNを提案する。
• 参考スコア（独自算出の注目度）: 2.171666762289619
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present BERN-NN as an efficient tool to perform bound propagation of Neural Networks (NNs). Bound propagation is a critical step in wide range of NN model checkers and reachability analysis tools. Given a bounded input set, bound propagation algorithms aim to compute tight bounds on the output of the NN. So far, linear and convex optimizations have been used to perform bound propagation. Since neural networks are highly non-convex, state-of-the-art bound propagation techniques suffer from introducing large errors. To circumvent such drawback, BERN-NN approximates the bounds of each neuron using a class of polynomials called Bernstein polynomials. Bernstein polynomials enjoy several interesting properties that allow BERN-NN to obtain tighter bounds compared to those relying on linear and convex approximations. BERN-NN is efficiently parallelized on graphic processing units (GPUs). Extensive numerical results show that bounds obtained by BERN-NN are orders of magnitude tighter than those obtained by state-of-the-art verifiers such as linear programming and linear interval arithmetic. Moreoveer, BERN-NN is both faster and produces tighter outputs compared to convex programming approaches like alpha-CROWN.
• Abstract（参考訳）: 本稿では,ニューラルネットワーク(NN)の有界伝播を行うための効率的なツールとしてBERN-NNを提案する。 境界伝搬は、幅広いNNモデルチェッカーと到達可能性分析ツールにおいて重要なステップである。 有界な入力集合が与えられたとき、バウンド伝播アルゴリズムはnnの出力のタイトな境界を計算することを目的としている。 これまでのところ、線形および凸最適化は有界伝搬を行うために用いられてきた。 ニューラルネットワークは非常に非凸であるため、最先端のバウンド伝搬技術は大きなエラーを引き起こす。 このような欠点を回避するため、BERN-NNはベルンシュタイン多項式と呼ばれる多項式のクラスを用いて各ニューロンの境界を近似する。 ベルンシュタイン多項式は、線型および凸近似に依存するものよりも、BERN-NNがより厳密な境界を得ることのできるいくつかの興味深い性質を持っている。 BERN-NNはグラフィック処理ユニット(GPU)上で効率よく並列化される。 その結果,BERN-NNで得られる境界は線形計画法や線形区間算術のような最先端の検証器で得られる境界よりも桁違いに厳密であることがわかった。 Moreoveer では、BERN-NN は α-CROWN のような凸プログラミング手法に比べて高速で、出力がより厳しい。

関連論文リスト

• Theoretical Analysis of Robust Overfitting for Wide DNNs: An NTK Approach [8.994430921243767]
  Adversarial Training (AT)は、ディープニューラルネットワーク(DNN)の堅牢性を高めるための標準的手法である 我々は, ニューラル・タンジェント・カーネル(NTK)理論をATに非自明に拡張し, 線形化されたDNNによって逆向きに訓練されたワイドDNNを適切に近似できることを証明する。 正方形損失の場合、線形化DNNの閉形式ATダイナミクスが導出され、新たなAT退化現象が明らかになる。
  論文  参考訳（メタデータ） (2023-10-09T19:40:25Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Efficient Decompositional Rule Extraction for Deep Neural Networks [5.69361786082969]
  ECLAIREは、大規模なDNNアーキテクチャと大規模なトレーニングデータセットの両方にスケール可能な、新しい時間ルール抽出アルゴリズムである。 ECLAIREは、現在の最先端手法よりも正確で理解しやすいルールセットを一貫して抽出することを示す。
  論文  参考訳（メタデータ） (2021-11-24T16:54:10Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• When and why PINNs fail to train: A neural tangent kernel perspective [2.1485350418225244]
  PINNのニューラルタンジェントカーネル(NTK)を導出し、適切な条件下では、無限幅極限でのトレーニング中に一定となる決定論的カーネルに収束することを示す。 学習誤差の総和に寄与する損失成分の収束率に顕著な差があることが判明した。 本研究では,NTKの固有値を用いて学習誤差の収束率を適応的に調整する勾配降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-28T23:44:56Z)
• Belief Propagation Neural Networks [103.97004780313105]
  信念伝播ニューラルネットワーク(BPNN)を紹介する。 BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。 挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
  論文  参考訳（メタデータ） (2020-07-01T07:39:51Z)
• Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
  正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。 実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
  論文  参考訳（メタデータ） (2020-06-18T13:57:04Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)
• Predicting the outputs of finite deep neural networks trained with noisy gradients [1.1470070927586014]
  広深部ニューラルネットワーク(DNN)をガウス過程(GP)として近似して研究する最近の研究のシリーズ 本稿では、雑音、重み減衰、有限幅を含むDNNトレーニングプロトコルについて考察する。 その後、この非ガウス過程を分析するために解析的枠組みが導入され、GPからの偏差は有限幅で制御される。
  論文  参考訳（メタデータ） (2020-04-02T18:00:01Z)
• Fractional Deep Neural Network via Constrained Optimization [0.0]
  本稿では,ディープニューラルネットワーク(DNN)のための新しいアルゴリズムフレームワークを提案する。 Fractional-DNNは、時間非線形常微分方程式(ODE)における分数の時間差分化と見なすことができる。
  論文  参考訳（メタデータ） (2020-04-01T21:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。