論文の概要: ExLipBaB: Exact Lipschitz Constant Computation for Piecewise Linear Neural Networks
- arxiv url: http://arxiv.org/abs/2602.15499v1
- Date: Tue, 17 Feb 2026 11:09:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-18 16:03:18.040442
- Title: ExLipBaB: Exact Lipschitz Constant Computation for Piecewise Linear Neural Networks
- Title(参考訳): ExLipBaB:Piecewise Linear Neural Networksのための厳密なリプシッツ定数計算
- Authors: Tom A. Splittgerber,
- Abstract要約: リプシッツ定数は、堅牢性を保証するために利用することができる。
任意のピースワイド線形ニューラルネットワークに対する正確なリプシッツ定数を計算するために,LipBaBアルゴリズムの一般化を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It has been shown that a neural network's Lipschitz constant can be leveraged to derive robustness guarantees, to improve generalizability via regularization or even to construct invertible networks. Therefore, a number of methods varying in the tightness of their bounds and their computational cost have been developed to approximate the Lipschitz constant for different classes of networks. However, comparatively little research exists on methods for exact computation, which has been shown to be NP-hard. Nonetheless, there are applications where one might readily accept the computational cost of an exact method. These applications could include the benchmarking of new methods or the computation of robustness guarantees for small models on sensitive data. Unfortunately, existing exact algorithms restrict themselves to only ReLU-activated networks, which are known to come with severe downsides in the context of Lipschitz-constrained networks. We therefore propose a generalization of the LipBaB algorithm to compute exact Lipschitz constants for arbitrary piecewise linear neural networks and $p$-norms. With our method, networks may contain traditional activations like ReLU or LeakyReLU, activations like GroupSort or the related MinMax and FullSort, which have been of increasing interest in the context of Lipschitz constrained networks, or even other piecewise linear functions like MaxPool.
- Abstract(参考訳): ニューラルネットワークのリプシッツ定数は、ロバスト性保証の導出、正規化による一般化性の向上、さらには可逆性ネットワークの構築に活用できることが示されている。
そのため、ネットワークの異なるクラスに対するリプシッツ定数を近似するために、境界の厳密性や計算コストに様々な方法が開発されている。
しかし、NPハードであることが示されている正確な計算法についてはほとんど研究されていない。
それでも、正確な方法の計算コストを容易に受け取れるような応用がある。
これらのアプリケーションには、新しいメソッドのベンチマークや、機密データ上の小さなモデルに対する堅牢性保証の計算が含まれる。
残念なことに、既存の正確なアルゴリズムは、リプシッツ制約ネットワークの文脈で深刻な欠点が知られているReLU活性化ネットワークのみに制限されている。
そこで我々は、任意のピースワイド線形ニューラルネットワークと$p$-normsに対して正確なリプシッツ定数を計算するために、LipBaBアルゴリズムの一般化を提案する。
我々の方法では、ネットワークには、ReLUやLeakyReLUのような従来のアクティベーション、GroupSortや関連するMinMaxやFullSortのようなアクティベーションが含まれており、これはリプシッツ制約ネットワークのコンテキストや、MaxPoolのような他の部分線形関数にも関心を寄せている。
関連論文リスト
- ECLipsE-Gen-Local: Efficient Compositional Local Lipschitz Estimates for Deep Neural Networks [4.752559512511423]
リプシッツ定数は、摂動を入力するためのニューラルネットワークの堅牢性を証明するための鍵となる尺度である。
リプシッツ定数を推定する標準的な手法は、ネットワークサイズに劣る大きな行列半定プログラム(SDP)を解くことである。
本稿では,ディープフィードフォワードニューラルネットワークに対するタイトでスケーラブルなリプシッツ推定を行う合成フレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-06T18:26:46Z) - Novel Quadratic Constraints for Extending LipSDP beyond Slope-Restricted
Activations [52.031701581294804]
ニューラルネットワークのリプシッツ境界は、高い時間保存保証で計算できる。
このギャップを埋めて,リプシッツを傾斜制限活性化関数を超えて拡張する。
提案した解析は一般であり、$ell$ および $ell_infty$ Lipschitz 境界を推定するための統一的なアプローチを提供する。
論文 参考訳(メタデータ) (2024-01-25T09:23:31Z) - Efficiently Computing Local Lipschitz Constants of Neural Networks via
Bound Propagation [79.13041340708395]
リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。
既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。
ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
論文 参考訳(メタデータ) (2022-10-13T22:23:22Z) - Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。
我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
論文 参考訳(メタデータ) (2022-10-04T17:55:27Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2021-11-02T06:44:10Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳(メタデータ) (2021-06-06T18:05:02Z) - LipBaB: Computing exact Lipschitz constant of ReLU networks [0.0]
LipBaBは、ディープニューラルネットワークのローカルLipschitz定数の認定境界を計算するためのフレームワークです。
このアルゴリズムは任意の p-ノルムに対するリプシッツ定数の正確な計算を提供することができる。
論文 参考訳(メタデータ) (2021-05-12T08:06:11Z) - On Lipschitz Regularization of Convolutional Layers using Toeplitz
Matrix Theory [77.18089185140767]
リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。
ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。
より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
論文 参考訳(メタデータ) (2020-06-15T13:23:34Z) - Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。
ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。
このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
論文 参考訳(メタデータ) (2020-03-02T22:15:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。