論文の概要: Tight Second-Order Certificates for Randomized Smoothing

• arxiv url: http://arxiv.org/abs/2010.10549v2
• Date: Tue, 15 Dec 2020 03:17:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 06:19:23.307298
• Title: Tight Second-Order Certificates for Randomized Smoothing
• Title（参考訳）: ランダム化平滑化のための第2級認証
• Authors: Alexander Levine, Aounon Kumar, Thomas Goldstein, and Soheil Feizi
• Abstract要約: また、ガウス的ランダムな滑らか化のための普遍曲率的境界が存在することを示す。 この新たな証明書の正確性を証明することに加えて、SoS証明書は実現可能であり、したがって厳密であることを示す。
• 参考スコア（独自算出の注目度）: 106.06908242424481
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Randomized smoothing is a popular way of providing robustness guarantees against adversarial attacks: randomly-smoothed functions have a universal Lipschitz-like bound, allowing for robustness certificates to be easily computed. In this work, we show that there also exists a universal curvature-like bound for Gaussian random smoothing: given the exact value and gradient of a smoothed function, we compute a lower bound on the distance of a point to its closest adversarial example, called the Second-order Smoothing (SoS) robustness certificate. In addition to proving the correctness of this novel certificate, we show that SoS certificates are realizable and therefore tight. Interestingly, we show that the maximum achievable benefits, in terms of certified robustness, from using the additional information of the gradient norm are relatively small: because our bounds are tight, this is a fundamental negative result. The gain of SoS certificates further diminishes if we consider the estimation error of the gradient norms, for which we have developed an estimator. We therefore additionally develop a variant of Gaussian smoothing, called Gaussian dipole smoothing, which provides similar bounds to randomized smoothing with gradient information, but with much-improved sample efficiency. This allows us to achieve (marginally) improved robustness certificates on high-dimensional datasets such as CIFAR-10 and ImageNet. Code is available at https://github.com/alevine0/smoothing_second_order.
• Abstract（参考訳）: ランダム化平滑化(Randomized smoothing)は、敵攻撃に対する堅牢性を保証する一般的な方法である: ランダムに滑らかな関数は、普遍的なリプシッツのような境界を持ち、ロバスト性証明を容易に計算できる。 本研究では、ガウス確率平滑化に対する普遍曲率的境界の存在も示す: 滑らか化関数の正確な値と勾配を考えると、点から最も近い逆向きの例までの距離における下限を計算し、二階平滑化(sos)ロバストネス証明(英語版)(second-order smoothing (sos) robustness certificate) と呼ばれる。 この新証明書の正確性を証明することに加えて,sos証明書が実現可能であり,かつタイトであることを示す。 興味深いことに、勾配ノルムの付加的な情報を使用することによる証明された堅牢性の観点から、達成可能な最大利益は比較的小さい:我々の境界はきついので、これは根本的な負の結果である。 評価器を開発した勾配基準の推定誤差を考慮すると,SoS証明書の獲得はさらに減少する。 そこで我々はさらに,グラデーション情報を用いたランダム化平滑化と同様の境界を提供するガウス型双極子平滑化(gaussian dipole smoothing)と呼ばれるガウス型平滑化(gaussian smoothing)の変種を開発した。 これにより,CIFAR-10 や ImageNet などの高次元データセット上での堅牢性証明を(階層的に)向上させることができる。 コードはhttps://github.com/alevine0/smoothing_second_orderで入手できる。

関連論文リスト

• Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
  グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。 通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。 本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
  論文  参考訳（メタデータ） (2023-09-29T15:24:48Z)
• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• Revisiting Gradient Clipping: Stochastic bias and tight convergence guarantees [37.40957596986653]
  任意のクリッピング閾値に正確に依存するコンバージェンス保証を$c$とする。 特に、決定論的勾配降下については、クリッピングしきい値が高次収束項にのみ影響することを示す。 クリッピングされたSGDを走らせる際に、勾配ノルムの収束に一致する上限と下限を与える。
  論文  参考訳（メタデータ） (2023-05-02T16:42:23Z)
• Towards More Robust Interpretation via Local Gradient Alignment [37.464250451280336]
  任意の非負の同質ニューラルネットワークに対して、勾配に対する単純な$ell$-robust criterionは、テクスティノ正規化不変量であることを示す。 我々は,局所勾配の整合性を両立させるために,$ell$とcosine distance-based criteriaを正則化項として組み合わせることを提案する。 我々は,CIFAR-10 と ImageNet-100 でトレーニングしたモデルにより,より堅牢な解釈が得られたことを実験的に示す。
  論文  参考訳（メタデータ） (2022-11-29T03:38:28Z)
• Smooth-Reduce: Leveraging Patches for Improved Certified Robustness [100.28947222215463]
  本研究では,Smooth-Reduce の学習自由な修正スムース化手法を提案する。 提案アルゴリズムは,入力画像から抽出した重なり合うパッチを分類し,予測ロジットを集約して,入力周辺の半径が大きいことを証明する。 我々は,このような証明書の理論的保証を提供し,他のランダムな平滑化手法に対する顕著な改善を実証的に示す。
  論文  参考訳（メタデータ） (2022-05-12T15:26:20Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Improved, Deterministic Smoothing for L1 Certified Robustness [119.86676998327864]
  分割雑音を伴う非加法的決定論的平滑化法(dssn)を提案する。 一様加法平滑化とは対照的に、ssn認証は無作為なノイズコンポーネントを独立に必要としない。 これは、規範ベースの敵対的脅威モデルに対して決定論的「ランダム化平滑化」を提供する最初の仕事である。
  論文  参考訳（メタデータ） (2021-03-17T21:49:53Z)
• Data Dependent Randomized Smoothing [127.34833801660233]
  データ依存フレームワークは、3つのランダムな平滑化アプローチにシームレスに組み込むことができます。 CIFAR10とImageNetで0.5の半径の最強ベースラインの認定精度よりも9%と6%の改善が得られています。
  論文  参考訳（メタデータ） (2020-12-08T10:53:11Z)
• Extensions and limitations of randomized smoothing for robustness guarantees [13.37805637358556]
  平滑化対策の相違が最終ロバスト性保証にどのように影響するかを検討する。 我々は,任意の$ell_p$$pinmathbbN_>0$に対するロバスト性を証明する手法を開発した。
  論文  参考訳（メタデータ） (2020-06-07T17:22:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。