論文の概要: Double Sampling Randomized Smoothing

• arxiv url: http://arxiv.org/abs/2206.07912v1
• Date: Thu, 16 Jun 2022 04:34:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-18 12:45:29.318062
• Title: Double Sampling Randomized Smoothing
• Title（参考訳）: 二重サンプリングランダム化平滑化
• Authors: Linyi Li and Jiawei Zhang and Tao Xie and Bo Li
• Abstract要約: 二重サンプリングランダム化平滑化フレームワークを提案する。 サンプリングされた確率を、追加の滑らかな分布から利用して、以前の滑らかな分類器の堅牢性認証を強化する。 本研究では,DSRSが既存のデータセットよりも高いロバストラジイを常に異なる設定で証明していることを示す。
• 参考スコア（独自算出の注目度）: 19.85592163703077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks (NNs) are known to be vulnerable against adversarial perturbations, and thus there is a line of work aiming to provide robustness certification for NNs, such as randomized smoothing, which samples smoothing noises from a certain distribution to certify the robustness for a smoothed classifier. However, as previous work shows, the certified robust radius in randomized smoothing suffers from scaling to large datasets ("curse of dimensionality"). To overcome this hurdle, we propose a Double Sampling Randomized Smoothing (DSRS) framework, which exploits the sampled probability from an additional smoothing distribution to tighten the robustness certification of the previous smoothed classifier. Theoretically, under mild assumptions, we prove that DSRS can certify $\Theta(\sqrt d)$ robust radius under $\ell_2$ norm where $d$ is the input dimension, which implies that DSRS may be able to break the curse of dimensionality of randomized smoothing. We instantiate DSRS for a generalized family of Gaussian smoothing and propose an efficient and sound computing method based on customized dual optimization considering sampling error. Extensive experiments on MNIST, CIFAR-10, and ImageNet verify our theory and show that DSRS certifies larger robust radii than existing baselines consistently under different settings. Code is available at https://github.com/llylly/DSRS.
• Abstract（参考訳）: ニューラルネットワーク(nns)は、敵の摂動に対して脆弱であることが知られているため、ランダム化平滑化(randomized smoothing)などのnnsに対する堅牢性認定の提供を目的とした一連の作業があり、特定の分布からのノイズの平滑化をサンプリングし、平滑化分類器のロバスト性を検証する。 しかし、以前の研究が示すように、ランダムな平滑化における認定ロバスト半径は、大きなデータセット("curse of dimensionality")へのスケールに苦しむ。 このハードルを克服するために,従来の平滑化分類器のロバスト性認証を強化するために,追加の平滑化分布からサンプリング確率を利用する2重サンプリングランダム化平滑化(dsrs)フレームワークを提案する。 理論的には、穏やかな仮定の下で、DSRS が $\Theta(\sqrt d)$ robust radius を $\ell_2$ norm の下で証明できることを証明している。 ガウス平滑化の一般化族に対するDSRSをインスタンス化し、サンプリング誤差を考慮した最適化された双対最適化に基づく効率的な音響計算法を提案する。 MNIST, CIFAR-10, ImageNet の広範囲にわたる実験により, DSRS が既存のベースラインよりも高いロバスト半径を一定の条件下で証明していることが確認された。 コードはhttps://github.com/llylly/DSRSで入手できる。

関連論文リスト

• Effects of Exponential Gaussian Distribution on (Double Sampling) Randomized Smoothing [21.618349628349115]
  指数標準ガウス分布(Exponential Standard Gaussian, ESG)と指数一般ガウス分布(Exponential General Gaussian, EGG)の2種類の分布がランダム化平滑化および二重ランダム化平滑化(DSRS)に及ぼす影響について検討した。 実世界のデータセットに関する我々の実験は、ESGの理論的解析を確認し、RSとDSRSの双方に対して、異なる指数$eta$でほぼ同じ認証を提供する。 原始DSRSと比較して、EGGが提供する認証精度の上昇は、ImageNetで最大6.4%まで顕著である。
  論文  参考訳（メタデータ） (2024-06-04T13:41:00Z)
• Estimating the Robustness Radius for Randomized Smoothing with 100$\times$ Sample Efficiency [6.199300239433395]
  この研究は、サンプルの数を1桁から2桁に減らすことで、わずかに小さなロバストネス半径の計算が可能になることを証明している。 我々は、標準CIFAR-10およびImageNetデータセットで有望な結果を実験的に示しながら、この現象を説明する数学的基礎を提供する。
  論文  参考訳（メタデータ） (2024-04-26T12:43:19Z)
• Mitigating the Curse of Dimensionality for Certified Robustness via Dual Randomized Smoothing [48.219725131912355]
  本稿では,2次元平滑化による高次元入力に対する$ell$認証ロバスト性の実現可能性について検討する。 提案したDual Smoothing (DRS)は入力イメージを2つのサブイメージにダウンサンプルし、下位次元で2つのサブイメージを滑らかにする。 広汎な実験は、確立された方法論と統合する顕著な能力を示すDSSの一般化性と有効性を示す。
  論文  参考訳（メタデータ） (2024-04-15T08:54:33Z)
• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Improved, Deterministic Smoothing for L1 Certified Robustness [119.86676998327864]
  分割雑音を伴う非加法的決定論的平滑化法(dssn)を提案する。 一様加法平滑化とは対照的に、ssn認証は無作為なノイズコンポーネントを独立に必要としない。 これは、規範ベースの敵対的脅威モデルに対して決定論的「ランダム化平滑化」を提供する最初の仕事である。
  論文  参考訳（メタデータ） (2021-03-17T21:49:53Z)
• Insta-RS: Instance-wise Randomized Smoothing for Improved Robustness and Accuracy [9.50143683501477]
  Insta-RSは、テスト例にカスタマイズされたガウス分散を割り当てるマルチスタート検索アルゴリズムである。 Insta-RS Trainは、各トレーニング例のノイズレベルを適応的に調整し、カスタマイズする新しい2段階トレーニングアルゴリズムです。 本手法は,平均認定半径(ACR)とクリーンデータ精度を有意に向上させることを示した。
  論文  参考訳（メタデータ） (2021-03-07T19:46:07Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)
• Black-Box Certification with Randomized Smoothing: A Functional Optimization Based Framework [60.981406394238434]
  本稿では,非ガウス雑音とより一般的な攻撃に対する対向的認証の一般的な枠組みを提案する。 提案手法は,従来の手法よりも優れた認証結果を得るとともに,ランダム化スムーズな認証の新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-02-21T07:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。