論文の概要: The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing

• arxiv url: http://arxiv.org/abs/2309.16883v2
• Date: Mon, 27 Nov 2023 12:33:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 14:40:11.835926
• Title: The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing
• Title（参考訳）: 拡張ランダム化平滑化に対するリプシッツ分散マージントレードオフ
• Authors: Blaise Delattre, Alexandre Araujo, Quentin Barth\'elemy and Alexandre Allauzen
• Abstract要約: ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 本稿では,スムーズで堅牢な分類器を得るために,入力中のノイズ注入に頼ることで,ランダムなスムージングが有望なフレームワークを提供することを示す。 実験の結果,現在の最先端手法と比較して精度が著しく向上した。
• 参考スコア（独自算出の注目度）: 91.51897617724816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-life applications of deep neural networks are hindered by their unsteady predictions when faced with noisy inputs and adversarial attacks. The certified radius is in this context a crucial indicator of the robustness of models. However how to design an efficient classifier with a sufficient certified radius? Randomized smoothing provides a promising framework by relying on noise injection in inputs to obtain a smoothed and more robust classifier. In this paper, we first show that the variance introduced by randomized smoothing closely interacts with two other important properties of the classifier, \textit{i.e.} its Lipschitz constant and margin. More precisely, our work emphasizes the dual impact of the Lipschitz constant of the base classifier, on both the smoothed classifier and the empirical variance. Moreover, to increase the certified robust radius, we introduce a different simplex projection technique for the base classifier to leverage the variance-margin trade-off thanks to Bernstein's concentration inequality, along with an enhanced Lipschitz bound. Experimental results show a significant improvement in certified accuracy compared to current state-of-the-art methods. Our novel certification procedure allows us to use pre-trained models that are used with randomized smoothing, effectively improving the current certification radius in a zero-shot manner.
• Abstract（参考訳）: ディープニューラルネットワークの実際の応用は、ノイズの入力や敵対的な攻撃に直面すると不安定な予測によって妨げられる。 この文脈では、認定半径はモデルの堅牢性の重要な指標である。 しかし、十分な認定半径を持つ効率的な分類器を設計するにはどうすればよいか? ランダム化スムーシングは、スムーズで堅牢な分類器を得るために入力中のノイズ注入に頼ることで、有望なフレームワークを提供する。 本稿では, ランダム化滑らか化によって生じる分散が, 分類器の他の2つの重要な性質, \textit{i.e.} そのリプシッツ定数とマージンとを密接に相互作用することを示す。 より正確には、我々の研究は、滑らかな分類器と経験的分散の両方に対する基底分類器のリプシッツ定数の二重影響を強調している。 さらに,認証されたロバスト半径を増加させるために,バーンスタインの濃度不等式とリプシッツ境界の強化による分散マージントレードオフを活用するための,ベース分類器の異なる単純射影法を導入する。 実験の結果,現在の手法と比較して精度が有意に向上した。 新たな認証手順により,ランダム化平滑化に使用する事前学習モデルの使用が可能となり,ゼロショット方式で現在の認証半径を効果的に改善できる。

関連論文リスト

• Towards Better Certified Segmentation via Diffusion Models [62.21617614504225]
  セグメンテーションモデルは敵の摂動に弱いため、医療や自動運転といった重要な意思決定システムでの使用を妨げます。 近年,理論的保証を得るためにガウス雑音を入力に加えることにより,セグメント化予測のランダム化が提案されている。 本稿では,ランダムな平滑化と拡散モデルを組み合わせたセグメンテーション予測の問題に対処する。
  論文  参考訳（メタデータ） (2023-06-16T16:30:39Z)
• Understanding Noise-Augmented Training for Randomized Smoothing [14.061680807550722]
  ランダムスムーシング(Randomized smoothing)は、敵攻撃に対する証明可能な堅牢性を保証する技術である。 より強い分布仮定を作らずに、雑音増強の訓練を受けた予測者から利益を期待できないことを示す。 本分析は, ランダム化平滑化の実践的展開に直接的な意味を持つ。
  論文  参考訳（メタデータ） (2023-05-08T14:46:34Z)
• Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
  我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。 実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-18T03:57:12Z)
• SmoothMix: Training Confidence-calibrated Smoothed Classifiers for Certified Robustness [61.212486108346695]
  自己混合によるスムーズな分類器のロバスト性を制御するためのトレーニングスキームSmoothMixを提案する。 提案手法は, 厳密性に制限された原因として, 信頼性の低い, オフクラスに近いサンプルを効果的に同定する。 提案手法はスムーズな分類器の検証値である$ell$-robustnessを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-11-17T18:20:59Z)
• Certifying Confidence via Randomized Smoothing [151.67113334248464]
  ランダムな平滑化は、高次元の分類問題に対して良好な証明されたロバスト性を保証することが示されている。 ほとんどの平滑化法は、下層の分類器が予測する信頼性に関する情報を与えてくれない。 そこで本研究では,スムーズな分類器の予測信頼度を評価するために,認証ラジイを生成する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-17T04:37:26Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。