論文の概要: Local Lipschitz Constant Computation of ReLU-FNNs: Upper Bound Computation with Exactness Verification

• arxiv url: http://arxiv.org/abs/2310.11104v2
• Date: Sun, 7 Apr 2024 20:05:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 02:35:24.541765
• Title: Local Lipschitz Constant Computation of ReLU-FNNs: Upper Bound Computation with Exactness Verification
• Title（参考訳）: ReLU-FNNの局所リプシッツ定数計算:精度検証による上界計算
• Authors: Yoshio Ebihara, Xin Dai, Victor Magron, Dimitri Peaucelle, Sophie Tarbouriech,
• Abstract要約: 本稿では, フィードフォワードニューラルネットワーク(FNN)の局所リプシッツ定数の補正線形単位(ReLU)の活性化関数を用いた計算について述べる。 ReLUの挙動を捉える乗算器を用いた標準的な手順に従うことにより、まず局所リプシッツ定数の上界問題を半定値プログラミング問題(SDP)に還元する。 本稿では,入力出力特性が元のFNNと同一である縮小順序モデルを構築する手法を提案する。
• 参考スコア（独自算出の注目度）: 3.021446475031579
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper is concerned with the computation of the local Lipschitz constant of feedforward neural networks (FNNs) with activation functions being rectified linear units (ReLUs). The local Lipschitz constant of an FNN for a target input is a reasonable measure for its quantitative evaluation of the reliability. By following a standard procedure using multipliers that capture the behavior of ReLUs,we first reduce the upper bound computation problem of the local Lipschitz constant into a semidefinite programming problem (SDP). Here we newly introduce copositive multipliers to capture the ReLU behavior accurately. Then, by considering the dual of the SDP for the upper bound computation, we second derive a viable test to conclude the exactness of the computed upper bound. However, these SDPs are intractable for practical FNNs with hundreds of ReLUs. To address this issue, we further propose a method to construct a reduced order model whose input-output property is identical to the original FNN over a neighborhood of the target input. We finally illustrate the effectiveness of the model reduction and exactness verification methods with numerical examples of practical FNNs.
• Abstract（参考訳）: 本稿では, フィードフォワードニューラルネットワーク(FNN)の局所リプシッツ定数の補正線形単位(ReLU)の活性化関数を用いた計算について述べる。 目標入力に対するFNNの局所リプシッツ定数は、その信頼性を定量的に評価するための妥当な尺度である。 ReLUの挙動を捉える乗算器を用いた標準的な手順に従うことにより、まず局所リプシッツ定数の上界計算問題を半定値プログラミング問題(SDP)に還元する。 本稿では,ReLUの挙動を正確に捉えるための共正乗算器を新たに導入する。 次に、上界計算におけるSDPの双対性を考慮することにより、計算された上界の正確性を決定するための実行可能なテストが導出される。 しかし、これらのSDPは数百のReLUを持つ実用的なFNNにとって難易度が高い。 この問題に対処するために、ターゲット入力の近傍で入力出力特性が元のFNNと同一である縮小順序モデルを構築する方法を提案する。 実用FNNの数値例を用いて,モデルの縮小と精度検証手法の有効性を論じる。

関連論文リスト

• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Lipschitz constant estimation for 1D convolutional neural networks [0.0]
  本稿では,1次元畳み込みニューラルネットワーク(CNN)のリプシッツ定数推定法を提案する。 特に, 畳み込み層, プール層および完全連結層の分散特性を解析した。
  論文  参考訳（メタデータ） (2022-11-28T12:09:06Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
  一次元回帰問題に対する連続領域定式化を提案する。 リプシッツ定数をユーザ定義上界を用いて明示的に制御する。 いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
  論文  参考訳（メタデータ） (2021-12-27T07:03:43Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Training robust neural networks using Lipschitz bounds [0.0]
  ニューラルネットワーク(NN)は、安全クリティカルなアプリケーションではほとんど使われません。 逆の摂動に対するロバスト性の1つの尺度は、NNによって定義される入出力写像のリプシッツ定数である。 我々は,Lipschitz を一定に小さく保ちながら,強靭性を促進しつつ,多層NN のトレーニングを行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-06T16:07:46Z)
• Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
  ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。 ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。 このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
  論文  参考訳（メタデータ） (2020-03-02T22:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。