論文の概要: Adversarial robustness of sparse local Lipschitz predictors
- arxiv url: http://arxiv.org/abs/2202.13216v1
- Date: Sat, 26 Feb 2022 19:48:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 17:22:41.849884
- Title: Adversarial robustness of sparse local Lipschitz predictors
- Title（参考訳）: スパース局所リプシッツ予測器の逆ロバスト性
- Authors: Ramchandran Muthukumar and Jeremias Sulam
- Abstract要約: 本研究では、線形予測器と非線形表現写像からなるパラメトリック関数の対角ロバスト性について研究する。
緩やかな局所リプシッツネスを用いて安定性を把握し、局所摂動による予測器の有効次元を減少させる。
- 参考スコア（独自算出の注目度）: 12.525959293825318
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work studies the adversarial robustness of parametric functions composed
of a linear predictor and a non-linear representation map. Our analysis relies
on sparse local Lipschitzness (SLL), an extension of local Lipschitz continuity
that better captures the stability and reduced effective dimensionality of
predictors upon local perturbations. SLL functions preserve a certain degree of
structure, given by the sparsity pattern in the representation map, and include
several popular hypothesis classes, such as piece-wise linear models, Lasso and
its variants, and deep feed-forward ReLU networks. We provide a tighter
robustness certificate on the minimal energy of an adversarial example, as well
as tighter data-dependent non-uniform bounds on the robust generalization error
of these predictors. We instantiate these results for the case of deep neural
networks and provide numerical evidence that supports our results, shedding new
insights into natural regularization strategies to increase the robustness of
these models.
- Abstract（参考訳）: 本研究では,線形予測器と非線形表現写像からなるパラメトリック関数の逆ロバスト性について検討する。
我々の分析は、局所的なリプシッツ連続性の拡張であるスパース局所リプシッツ性(SLL)に依存し、局所摂動による予測器の安定性と有効次元性をよりよく捉える。
sll関数は、表現写像のスパーシティパターンによって与えられる一定の構造を保持し、区分線形モデル、lassoとその変種、深いフィードフォワードreluネットワークのようないくつかの一般的な仮説クラスを含む。
我々は, 逆例の最小エネルギーに対するより強固なロバスト性証明と, これらの予測器のロバスト一般化誤差に対するデータ依存的非一様境界を提供する。
ディープニューラルネットワークの場合、これらの結果をインスタンス化し、結果を裏付ける数値的な証拠を提供し、モデルのロバスト性を高めるための自然な正規化戦略に対する新たな洞察を与えます。
関連論文リスト
- Variational Bayesian Bow tie Neural Networks with Shrinkage [0.276240219662896]
我々は、標準フィードフォワード修正ニューラルネットワークの緩和版を構築した。
我々は、条件付き線形およびガウス的モデルをレンダリングするために、Polya-Gammaデータ拡張トリックを用いる。
層間における分布仮定や独立性を回避する変分推論アルゴリズムを導出する。
論文 参考訳（メタデータ） (2024-11-17T17:36:30Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳（メタデータ） (2021-08-25T22:01:01Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Robustness to Pruning Predicts Generalization in Deep Neural Networks [29.660568281957072]
トレーニングの損失に悪影響を与えることなく、pruning中に維持できるネットワークのパラメータの最小の屈折であるprunabilityを紹介します。
この測定は、CIFAR-10で訓練された大規模な畳み込みネットワーク全体のモデル一般化性能を非常に予測できることを示した。
論文 参考訳（メタデータ） (2021-03-10T11:39:14Z) - Achieving Efficiency in Black Box Simulation of Distribution Tails with
Self-structuring Importance Samplers [1.6114012813668934]
本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
論文 参考訳（メタデータ） (2021-02-14T03:37:22Z) - Lipschitz Bounded Equilibrium Networks [3.2872586139884623]
本稿では、平衡ニューラルネットワーク、すなわち暗黙の方程式で定義されるネットワークの新しいパラメータ化を提案する。
新しいパラメータ化は、制約のない最適化を通じてトレーニング中にリプシッツ境界を許容する。
画像分類実験では、リプシッツ境界は非常に正確であり、敵攻撃に対する堅牢性を向上させることが示されている。
論文 参考訳（メタデータ） (2020-10-05T01:00:40Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-06-22T08:44:52Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。