論文の概要: The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing

• arxiv url: http://arxiv.org/abs/2309.16883v3
• Date: Tue, 6 Feb 2024 14:30:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 20:14:06.936994
• Title: The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing
• Title（参考訳）: 拡張ランダム化平滑化に対するリプシッツ分散マージントレードオフ
• Authors: Blaise Delattre, Alexandre Araujo, Quentin Barth\'elemy and Alexandre Allauzen
• Abstract要約: ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 本稿では,モンテカルロサンプリングによるランダムな平滑化過程推定における分散が,分類器のリプシッツ定数とマージンと密接な相互作用を示す。 我々はベルンシュタインの濃度不等式と拡張されたリプシッツ境界をランダム化平滑化に利用し、実験結果から現在の最先端手法と比較して精度が著しく向上したことを示す。
• 参考スコア（独自算出の注目度）: 91.51897617724816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-life applications of deep neural networks are hindered by their unsteady predictions when faced with noisy inputs and adversarial attacks. The certified radius is in this context a crucial indicator of the robustness of models. However how to design an efficient classifier with an associated certified radius? Randomized smoothing provides a promising framework by relying on noise injection into the inputs to obtain a smoothed and robust classifier. In this paper, we first show that the variance introduced by the Monte-Carlo sampling in the randomized smoothing procedure estimate closely interacts with two other important properties of the classifier, \textit{i.e.} its Lipschitz constant and margin. More precisely, our work emphasizes the dual impact of the Lipschitz constant of the base classifier, on both the smoothed classifier and the empirical variance. Moreover, to increase the certified robust radius, we introduce a different way to convert logits to probability vectors for the base classifier to leverage the variance-margin trade-off. We leverage the use of Bernstein's concentration inequality along with enhanced Lipschitz bounds for randomized smoothing. Experimental results show a significant improvement in certified accuracy compared to current state-of-the-art methods. Our novel certification procedure allows us to use pre-trained models that are used with randomized smoothing, effectively improving the current certification radius in a zero-shot manner.
• Abstract（参考訳）: ディープニューラルネットワークの実際の応用は、ノイズの入力や敵対的な攻撃に直面すると不安定な予測によって妨げられる。 この文脈では、認定半径はモデルの堅牢性の重要な指標である。 しかし、関連する認定半径を持つ効率的な分類器をどう設計するか? ランダム化平滑化(randomized smoothing)は、ノイズを入力に注入することで、滑らかでロバストな分類器を得る、有望なフレームワークを提供する。 本稿では,ランダムな平滑化過程推定におけるモンテカルロサンプリングによって生じる分散が,分類器の他の2つの重要な性質であるリプシッツ定数とマージンと密接に相互作用することを示す。 より正確には、我々の研究は、滑らかな分類器と経験的分散の両方に対する基底分類器のリプシッツ定数の二重影響を強調している。 さらに、証明されたロバスト半径を増やすために、基底分類器の確率ベクトルにロジットを変換して分散マージントレードオフを利用する方法を導入する。 我々は、ランダム化平滑化のための拡張リプシッツ境界とともに、ベルンシュタインの濃度不等式を利用する。 実験の結果,現在の手法と比較して精度が有意に向上した。 新たな認証手順により,ランダム化平滑化に使用する事前学習モデルの使用が可能となり,ゼロショット方式で現在の認証半径を効果的に改善できる。

関連論文リスト

• Towards Better Certified Segmentation via Diffusion Models [62.21617614504225]
  セグメンテーションモデルは敵の摂動に弱いため、医療や自動運転といった重要な意思決定システムでの使用を妨げます。 近年,理論的保証を得るためにガウス雑音を入力に加えることにより,セグメント化予測のランダム化が提案されている。 本稿では,ランダムな平滑化と拡散モデルを組み合わせたセグメンテーション予測の問題に対処する。
  論文  参考訳（メタデータ） (2023-06-16T16:30:39Z)
• Understanding Noise-Augmented Training for Randomized Smoothing [14.061680807550722]
  ランダムスムーシング(Randomized smoothing)は、敵攻撃に対する証明可能な堅牢性を保証する技術である。 より強い分布仮定を作らずに、雑音増強の訓練を受けた予測者から利益を期待できないことを示す。 本分析は, ランダム化平滑化の実践的展開に直接的な意味を持つ。
  論文  参考訳（メタデータ） (2023-05-08T14:46:34Z)
• Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
  我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。 実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-18T03:57:12Z)
• SmoothMix: Training Confidence-calibrated Smoothed Classifiers for Certified Robustness [61.212486108346695]
  自己混合によるスムーズな分類器のロバスト性を制御するためのトレーニングスキームSmoothMixを提案する。 提案手法は, 厳密性に制限された原因として, 信頼性の低い, オフクラスに近いサンプルを効果的に同定する。 提案手法はスムーズな分類器の検証値である$ell$-robustnessを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-11-17T18:20:59Z)
• Certifying Confidence via Randomized Smoothing [151.67113334248464]
  ランダムな平滑化は、高次元の分類問題に対して良好な証明されたロバスト性を保証することが示されている。 ほとんどの平滑化法は、下層の分類器が予測する信頼性に関する情報を与えてくれない。 そこで本研究では,スムーズな分類器の予測信頼度を評価するために,認証ラジイを生成する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-17T04:37:26Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。