論文の概要: Double Sampling Randomized Smoothing
- arxiv url: http://arxiv.org/abs/2206.07912v1
- Date: Thu, 16 Jun 2022 04:34:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-18 12:45:29.318062
- Title: Double Sampling Randomized Smoothing
- Title(参考訳): 二重サンプリングランダム化平滑化
- Authors: Linyi Li and Jiawei Zhang and Tao Xie and Bo Li
- Abstract要約: 二重サンプリングランダム化平滑化フレームワークを提案する。
サンプリングされた確率を、追加の滑らかな分布から利用して、以前の滑らかな分類器の堅牢性認証を強化する。
本研究では,DSRSが既存のデータセットよりも高いロバストラジイを常に異なる設定で証明していることを示す。
- 参考スコア(独自算出の注目度): 19.85592163703077
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks (NNs) are known to be vulnerable against adversarial
perturbations, and thus there is a line of work aiming to provide robustness
certification for NNs, such as randomized smoothing, which samples smoothing
noises from a certain distribution to certify the robustness for a smoothed
classifier. However, as previous work shows, the certified robust radius in
randomized smoothing suffers from scaling to large datasets ("curse of
dimensionality"). To overcome this hurdle, we propose a Double Sampling
Randomized Smoothing (DSRS) framework, which exploits the sampled probability
from an additional smoothing distribution to tighten the robustness
certification of the previous smoothed classifier. Theoretically, under mild
assumptions, we prove that DSRS can certify $\Theta(\sqrt d)$ robust radius
under $\ell_2$ norm where $d$ is the input dimension, which implies that DSRS
may be able to break the curse of dimensionality of randomized smoothing. We
instantiate DSRS for a generalized family of Gaussian smoothing and propose an
efficient and sound computing method based on customized dual optimization
considering sampling error. Extensive experiments on MNIST, CIFAR-10, and
ImageNet verify our theory and show that DSRS certifies larger robust radii
than existing baselines consistently under different settings. Code is
available at https://github.com/llylly/DSRS.
- Abstract(参考訳): ニューラルネットワーク(nns)は、敵の摂動に対して脆弱であることが知られているため、ランダム化平滑化(randomized smoothing)などのnnsに対する堅牢性認定の提供を目的とした一連の作業があり、特定の分布からのノイズの平滑化をサンプリングし、平滑化分類器のロバスト性を検証する。
しかし、以前の研究が示すように、ランダムな平滑化における認定ロバスト半径は、大きなデータセット("curse of dimensionality")へのスケールに苦しむ。
このハードルを克服するために,従来の平滑化分類器のロバスト性認証を強化するために,追加の平滑化分布からサンプリング確率を利用する2重サンプリングランダム化平滑化(dsrs)フレームワークを提案する。
理論的には、穏やかな仮定の下で、DSRS が $\Theta(\sqrt d)$ robust radius を $\ell_2$ norm の下で証明できることを証明している。
ガウス平滑化の一般化族に対するDSRSをインスタンス化し、サンプリング誤差を考慮した最適化された双対最適化に基づく効率的な音響計算法を提案する。
MNIST, CIFAR-10, ImageNet の広範囲にわたる実験により, DSRS が既存のベースラインよりも高いロバスト半径を一定の条件下で証明していることが確認された。
コードはhttps://github.com/llylly/DSRSで入手できる。
関連論文リスト
- The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [91.51897617724816]
ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。
本稿では,モンテカルロサンプリングによるランダムな平滑化過程推定における分散が,分類器のリプシッツ定数とマージンと密接な相互作用を示す。
我々はベルンシュタインの濃度不等式と拡張されたリプシッツ境界をランダム化平滑化に利用し、実験結果から現在の最先端手法と比較して精度が著しく向上したことを示す。
論文 参考訳(メタデータ) (2023-09-28T22:41:47Z) - [Re] Double Sampling Randomized Smoothing [2.6763498831034043]
本稿では,ニューラルネットワーク(NN)の対向的摂動に対する堅牢性を証明することの課題に,機械学習の分野における課題の1つとして論じる。
提案したDouble Smpling Randomized Smoothing (DSRS) フレームワークは、スムーズな分布を追加してロバスト性認証を改善することで、既存のメソッドの制限を克服する。
論文 参考訳(メタデータ) (2023-06-27T05:46:18Z) - Certified Adversarial Robustness Within Multiple Perturbation Bounds [38.3813286696956]
ランダムスムーシング(Randomized smoothing、RS)は、敵の攻撃に対するよく知られた防御である。
本研究では,複数の摂動境界に対して同時に認証された対向ロバスト性を改善することを目的としている。
論文 参考訳(メタデータ) (2023-04-20T16:42:44Z) - Confidence-aware Training of Smoothed Classifiers for Certified
Robustness [75.95332266383417]
我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。
実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
論文 参考訳(メタデータ) (2022-12-18T03:57:12Z) - Normalized/Clipped SGD with Perturbation for Differentially Private
Non-Convex Optimization [94.06564567766475]
DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。
DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
論文 参考訳(メタデータ) (2022-06-27T03:45:02Z) - Improved, Deterministic Smoothing for L1 Certified Robustness [119.86676998327864]
分割雑音を伴う非加法的決定論的平滑化法(dssn)を提案する。
一様加法平滑化とは対照的に、ssn認証は無作為なノイズコンポーネントを独立に必要としない。
これは、規範ベースの敵対的脅威モデルに対して決定論的「ランダム化平滑化」を提供する最初の仕事である。
論文 参考訳(メタデータ) (2021-03-17T21:49:53Z) - Insta-RS: Instance-wise Randomized Smoothing for Improved Robustness and
Accuracy [9.50143683501477]
Insta-RSは、テスト例にカスタマイズされたガウス分散を割り当てるマルチスタート検索アルゴリズムである。
Insta-RS Trainは、各トレーニング例のノイズレベルを適応的に調整し、カスタマイズする新しい2段階トレーニングアルゴリズムです。
本手法は,平均認定半径(ACR)とクリーンデータ精度を有意に向上させることを示した。
論文 参考訳(メタデータ) (2021-03-07T19:46:07Z) - Consistency Regularization for Certified Robustness of Smoothed
Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。
その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文 参考訳(メタデータ) (2020-06-07T06:57:43Z) - Black-Box Certification with Randomized Smoothing: A Functional
Optimization Based Framework [60.981406394238434]
本稿では,非ガウス雑音とより一般的な攻撃に対する対向的認証の一般的な枠組みを提案する。
提案手法は,従来の手法よりも優れた認証結果を得るとともに,ランダム化スムーズな認証の新たな視点を提供する。
論文 参考訳(メタデータ) (2020-02-21T07:52:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。