論文の概要: Understanding Noise-Augmented Training for Randomized Smoothing

• arxiv url: http://arxiv.org/abs/2305.04746v1
• Date: Mon, 8 May 2023 14:46:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 14:12:20.388750
• Title: Understanding Noise-Augmented Training for Randomized Smoothing
• Title（参考訳）: ランダム化平滑化のための雑音提示訓練の理解
• Authors: Ambar Pal and Jeremias Sulam
• Abstract要約: ランダムスムーシング(Randomized smoothing)は、敵攻撃に対する証明可能な堅牢性を保証する技術である。 より強い分布仮定を作らずに、雑音増強の訓練を受けた予測者から利益を期待できないことを示す。 本分析は, ランダム化平滑化の実践的展開に直接的な意味を持つ。
• 参考スコア（独自算出の注目度）: 14.061680807550722
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Randomized smoothing is a technique for providing provable robustness guarantees against adversarial attacks while making minimal assumptions about a classifier. This method relies on taking a majority vote of any base classifier over multiple noise-perturbed inputs to obtain a smoothed classifier, and it remains the tool of choice to certify deep and complex neural network models. Nonetheless, non-trivial performance of such smoothed classifier crucially depends on the base model being trained on noise-augmented data, i.e., on a smoothed input distribution. While widely adopted in practice, it is still unclear how this noisy training of the base classifier precisely affects the risk of the robust smoothed classifier, leading to heuristics and tricks that are poorly understood. In this work we analyze these trade-offs theoretically in a binary classification setting, proving that these common observations are not universal. We show that, without making stronger distributional assumptions, no benefit can be expected from predictors trained with noise-augmentation, and we further characterize distributions where such benefit is obtained. Our analysis has direct implications to the practical deployment of randomized smoothing, and we illustrate some of these via experiments on CIFAR-10 and MNIST, as well as on synthetic datasets.
• Abstract（参考訳）: ランダム化平滑化(randomized smoothing)は、分類器について最小限の仮定をしながら、敵の攻撃に対して証明可能な堅牢性を保証する技術である。 この手法は、複数のノイズ摂動入力に対してベース分類器の過半数を採決してスムーズな分類器を得る方法に依存しており、深い複雑なニューラルネットワークモデルを認証するツールとして選択されている。 それでも、そのようなスムーズな分類器の非自明な性能は、ノイズ増強データ、すなわちスムーズな入力分布でトレーニングされているベースモデルに大きく依存する。 実際には広く採用されているが、この騒がしいベース分類器のトレーニングがロバストな平滑化分類器のリスクに正確にどのように影響するかは定かではない。 本研究では、これらのトレードオフを二項分類設定で理論的に解析し、これらの共通観測が普遍的でないことを証明した。 また,より強固な分布仮定を行なわずに,騒音緩和訓練を受けた予測者から便益を期待できないことを示し,その恩恵が得られた分布をさらに特徴付ける。 本分析は,ランダム化平滑化の実用的展開に直接影響するものであり,cifar-10とmnistの実験や合成データセットを用いてそのいくつかを解説する。

関連論文リスト

• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
  我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。 実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-18T03:57:12Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)
• Multi-class Gaussian Process Classification with Noisy Inputs [2.362412515574206]
  いくつかの状況では、騒音の量は事前に知ることができる。 提案手法を,合成データと実データを含むいくつかの実験により評価した。
  論文  参考訳（メタデータ） (2020-01-28T18:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。