論文の概要: LinSyn: Synthesizing Tight Linear Bounds for Arbitrary Neural Network Activation Functions

• arxiv url: http://arxiv.org/abs/2201.13351v1
• Date: Mon, 31 Jan 2022 17:00:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 21:07:42.899549
• Title: LinSyn: Synthesizing Tight Linear Bounds for Arbitrary Neural Network Activation Functions
• Title（参考訳）: LinSyn: 任意ニューラルネットワーク活性化関数のためのタイトリニア境界の合成
• Authors: Brandon Paulsen and Chao Wang
• Abstract要約: LinSyn は任意の任意の活性化関数に対して厳密な境界を達成する最初のアプローチである。 提案手法は,2～5倍の出力バウンダリと4倍以上の信頼性を達成できることを示す。
• 参考スコア（独自算出の注目度）: 4.03308187036005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The most scalable approaches to certifying neural network robustness depend on computing sound linear lower and upper bounds for the network's activation functions. Current approaches are limited in that the linear bounds must be handcrafted by an expert, and can be sub-optimal, especially when the network's architecture composes operations using, for example, multiplication such as in LSTMs and the recently popular Swish activation. The dependence on an expert prevents the application of robustness certification to developments in the state-of-the-art of activation functions, and furthermore the lack of tightness guarantees may give a false sense of insecurity about a particular model. To the best of our knowledge, we are the first to consider the problem of automatically computing tight linear bounds for arbitrary n-dimensional activation functions. We propose LinSyn, the first approach that achieves tight bounds for any arbitrary activation function, while only leveraging the mathematical definition of the activation function itself. Our approach leverages an efficient heuristic approach to synthesize bounds that are tight and usually sound, and then verifies the soundness (and adjusts the bounds if necessary) using the highly optimized branch-and-bound SMT solver, dReal. Even though our approach depends on an SMT solver, we show that the runtime is reasonable in practice, and, compared with state of the art, our approach often achieves 2-5X tighter final output bounds and more than quadruple certified robustness.
• Abstract（参考訳）: ニューラルネットワークの堅牢性を検証する最もスケーラブルなアプローチは、ネットワークの活性化関数の線形下限と上限の計算に依存する。 現在のアプローチは、線形境界は専門家によって手作りされなければならず、特にネットワークのアーキテクチャがLSTMや最近人気になったSwishアクティベーションのような乗算を用いて操作を構成する場合、サブ最適である。 専門家への依存は、アクティベーション関数の最先端開発における堅牢性証明の適用を妨げ、さらに、厳密性保証の欠如は、特定のモデルに対する誤った不安感を与える可能性がある。 我々の知る限りでは、任意の n-次元活性化関数に対する厳密な線形境界を自動的に計算する問題を最初に検討する。 我々は任意の活性化関数に対して厳密な境界を達成する最初のアプローチであるLinSynを提案し、アクティベーション関数自体の数学的定義のみを活用する。 提案手法は, 強最適化された分枝結合SMTソルバdRealを用いて, 強弱で通常健全な境界を合成し, 音質を検証(必要であれば境界を調整)する。 我々の手法は, SMTソルバに依存するが, 実例では実行時が合理的であることを示し, 現状と比較すると, 最終出力境界が2～5倍厳密で, 信頼性が4倍以上であることが多い。

関連論文リスト

• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• Certifying Robustness of Convolutional Neural Networks with Tight Linear Approximation [5.678314425261842]
  Ti-Linは、コナールニューラルネットワークのロバスト性検証のためのタイト線形近似手法である。 本稿では,S字型アクティベーション関数に対する新しい線形制約を提案する。 MNIST、CIFAR-10、Tiny ImageNetデータセットで訓練された48種類のCNNで評価した。
  論文  参考訳（メタデータ） (2022-11-13T08:37:13Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Reachability analysis of neural networks using mixed monotonicity [0.0]
  本稿では,入力不確実性の条件下でのフィードフォワードニューラルネットワークの出力集合の過度近似を計算するための新しい到達可能性解析ツールを提案する。 提案手法は、力学系の到達可能性解析のための既存の混合単調性法をニューラルネットワークに適用する。
  論文  参考訳（メタデータ） (2021-11-15T11:35:18Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• Scaling the Convex Barrier with Sparse Dual Algorithms [141.4085318878354]
  本稿では,ニューラルネットワークバウンダリングのための2つの新しい2重アルゴリズムを提案する。 どちらの方法も新しい緩和の強さを回復する: 厳密さと線形分離オラクル。 実行時間のほんの一部で、既製のソルバよりも優れた境界を得ることができます。
  論文  参考訳（メタデータ） (2021-01-14T19:45:17Z)
• Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
  ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。 ラグランジアン分解に基づく新しい手法を提案する。 ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2020-02-24T17:55:10Z)
• Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant [26.22495169129119]
  本稿では,深層ニューラルネットワークの活性化関数を学習するための変分フレームワークを提案する。 我々の目的は、リプシッツ定数の上界を制御しながら、ネットワークの容量を増加させることである。 提案手法を標準ReLUネットワークとその変種であるPRELUとLeakyReLUと比較する。
  論文  参考訳（メタデータ） (2020-01-17T12:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。