論文の概要: Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness
- arxiv url: http://arxiv.org/abs/2210.01787v1
- Date: Tue, 4 Oct 2022 17:55:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 12:55:38.190508
- Title: Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness
- Title（参考訳）: L-無限ロバスト性認定のためのリプシッツニューラルネットワークの再検討
- Authors: Bohang Zhang, Du Jiang, Di He, Liwei Wang
- Abstract要約: 我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。
我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
- 参考スコア（独自算出の注目度）: 33.72713778392896
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Designing neural networks with bounded Lipschitz constant is a promising way
to obtain certifiably robust classifiers against adversarial examples. However,
the relevant progress for the important $\ell_\infty$ perturbation setting is
rather limited, and a principled understanding of how to design expressive
$\ell_\infty$ Lipschitz networks is still lacking. In this paper, we bridge the
gap by studying certified $\ell_\infty$ robustness from a novel perspective of
representing Boolean functions. We derive two fundamental impossibility results
that hold for any standard Lipschitz network: one for robust classification on
finite datasets, and the other for Lipschitz function approximation. These
results identify that networks built upon norm-bounded affine layers and
Lipschitz activations intrinsically lose expressive power even in the
two-dimensional case, and shed light on how recently proposed Lipschitz
networks (e.g., GroupSort and $\ell_\infty$-distance nets) bypass these
impossibilities by leveraging order statistic functions. Finally, based on
these insights, we develop a unified Lipschitz network that generalizes prior
works, and design a practical version that can be efficiently trained (making
certified robust training free). Extensive experiments show that our approach
is scalable, efficient, and consistently yields better certified robustness
across multiple datasets and perturbation radii than prior Lipschitz networks.
- Abstract（参考訳）: リプシッツ定数が有界なニューラルネットワークの設計は、敵の例に対して確実に堅牢な分類器を得るための有望な方法である。
しかし、重要な$\ell_\infty$摂動設定の関連する進歩は、かなり限定的であり、表現力のある$\ell_\infty$ lipschitzネットワークを設計する方法に関する原則的な理解はまだ不足している。
本稿では, ブール関数を表す新しい視点から, 証明された$\ell_\infty$のロバスト性を研究することによって, ギャップを埋める。
我々は、有限データセット上のロバスト分類とリプシッツ関数近似という、任意の標準リプシッツネットワークに対して保持される2つの基本的な不可能性を導出する。
これらの結果は、通常のアフィン層とリプシッツ活性化上に構築されたネットワークが、2次元の場合においても本質的に表現力を失うことを明らかにし、最近提案されたリプシッツネットワーク(groupsort や $\ell_\infty$- distance nets)がこれらの不合理性を回避し、秩序統計関数を活用できることを示す。
最後に,これらの知見に基づいて,先行研究を一般化した統一型リプシッツネットワークを開発し,効率的なトレーニングが可能な実用版(認定ロバストトレーニングを無償にすること)を設計する。
広範な実験によって、当社のアプローチはスケーラブルで効率的であり、従来のリプシッツネットワークよりも、複数のデータセットと摂動ラジエーションにおいて、より優れた認証堅牢性を実現しています。
関連論文リスト
- Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural
Networks [77.82638674792292]
ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。
リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。
本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
論文 参考訳（メタデータ） (2022-04-02T11:57:52Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2021-11-02T06:44:10Z) - Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。
CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
論文 参考訳（メタデータ） (2021-10-25T07:12:53Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。
新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。
画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
論文 参考訳（メタデータ） (2020-10-05T01:00:40Z) - On Lipschitz Regularization of Convolutional Layers using Toeplitz
Matrix Theory [77.18089185140767]
リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。
ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。
より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
論文 参考訳（メタデータ） (2020-06-15T13:23:34Z) - Approximating Lipschitz continuous functions with GroupSort neural
networks [3.416170716497814]
近年の敵攻撃とワッサーシュタインGANはリプシッツ定数が制限されたニューラルネットワークの使用を提唱している。
特に、これらのネットワークが任意のリプシッツ連続部分線型関数をどのように表現できるかを示す。
また、それらがリプシッツ連続函数の近似に適しており、深さと大きさの両方の上限を示すことを証明する。
論文 参考訳（メタデータ） (2020-06-09T13:37:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。