論文の概要: Hidden Cost of Randomized Smoothing
- arxiv url: http://arxiv.org/abs/2003.01249v2
- Date: Fri, 12 Mar 2021 22:03:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 04:41:23.599622
- Title: Hidden Cost of Randomized Smoothing
- Title(参考訳): ランダム化平滑化の隠れコスト
- Authors: Jeet Mohapatra, Ching-Yun Ko, Tsui-Wei (Lily) Weng, Sijia Liu, Pin-Yu
Chen, Luca Daniel
- Abstract要約: 本稿では、現在のランダム化平滑化による副作用を指摘する。
具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
- 参考スコア(独自算出の注目度): 72.93630656906599
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The fragility of modern machine learning models has drawn a considerable
amount of attention from both academia and the public. While immense interests
were in either crafting adversarial attacks as a way to measure the robustness
of neural networks or devising worst-case analytical robustness verification
with guarantees, few methods could enjoy both scalability and robustness
guarantees at the same time. As an alternative to these attempts, randomized
smoothing adopts a different prediction rule that enables statistical
robustness arguments which easily scale to large networks. However, in this
paper, we point out the side effects of current randomized smoothing workflows.
Specifically, we articulate and prove two major points: 1) the decision
boundaries of smoothed classifiers will shrink, resulting in disparity in
class-wise accuracy; 2) applying noise augmentation in the training process
does not necessarily resolve the shrinking issue due to the inconsistent
learning objectives.
- Abstract(参考訳): 現代の機械学習モデルの脆弱さは、アカデミアと大衆の両方からかなりの注目を集めている。
ニューラルネットワークのロバスト性を測定する手段としての敵攻撃の開発や、保証付き最悪の分析ロバスト性検証の考案など、大きな関心を持っていたが、スケーラビリティとロバスト性保証の両方を同時に享受できる方法はほとんどなかった。
これらの試みの代替として、ランダム化平滑化は、統計ロバスト性引数を許容する別の予測規則を採用しており、大規模なネットワークに容易に拡張できる。
しかし,本稿では,現在のランダム化平滑化ワークフローの副作用を指摘する。
具体的には,2つの主要な点を明確にし,証明する。
1) 平滑化分類器の決定境界は縮小し, クラス単位での精度の差が生じる。
2) 学習過程における雑音増強の適用は, 学習目標の不整合による縮小問題を必ずしも解決しない。
関連論文リスト
- The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [91.51897617724816]
ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。
本稿では,モンテカルロサンプリングによるランダムな平滑化過程推定における分散が,分類器のリプシッツ定数とマージンと密接な相互作用を示す。
我々はベルンシュタインの濃度不等式と拡張されたリプシッツ境界をランダム化平滑化に利用し、実験結果から現在の最先端手法と比較して精度が著しく向上したことを示す。
論文 参考訳(メタデータ) (2023-09-28T22:41:47Z) - Confidence-aware Training of Smoothed Classifiers for Certified
Robustness [75.95332266383417]
我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。
実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
論文 参考訳(メタデータ) (2022-12-18T03:57:12Z) - SmoothMix: Training Confidence-calibrated Smoothed Classifiers for
Certified Robustness [61.212486108346695]
自己混合によるスムーズな分類器のロバスト性を制御するためのトレーニングスキームSmoothMixを提案する。
提案手法は, 厳密性に制限された原因として, 信頼性の低い, オフクラスに近いサンプルを効果的に同定する。
提案手法はスムーズな分類器の検証値である$ell$-robustnessを大幅に改善できることを示す。
論文 参考訳(メタデータ) (2021-11-17T18:20:59Z) - Differentially Private Adversarial Robustness Through Randomized
Perturbations [16.187650541902283]
ディープニューラルネットワークは、正しく分類された例に対する小さな摂動に確実に敏感であり、誤った予測につながる。
本稿では,ランダムな摂動による対向ロバスト性について検討する。
提案手法は,ガムベル雑音に基づく新しい密度ベース機構を用いる。
論文 参考訳(メタデータ) (2020-09-27T00:58:32Z) - Reachable Sets of Classifiers and Regression Models: (Non-)Robustness
Analysis and Robust Training [1.0878040851638]
分類器と回帰モデルの両方の頑健性特性を解析・拡張する。
具体的には、(非)難易度を検証し、堅牢なトレーニング手順を提案し、我々のアプローチが敵攻撃よりも優れていることを示す。
第2に、ラベル付けされていない入力に対する信頼できない予測と信頼できない予測を区別し、各特徴が予測に与える影響を定量化し、特徴ランキングを計算する技術を提供する。
論文 参考訳(メタデータ) (2020-07-28T10:58:06Z) - Provable tradeoffs in adversarially robust classification [96.48180210364893]
我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。
この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
論文 参考訳(メタデータ) (2020-06-09T09:58:19Z) - Consistency Regularization for Certified Robustness of Smoothed
Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。
その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文 参考訳(メタデータ) (2020-06-07T06:57:43Z) - Analyzing Accuracy Loss in Randomized Smoothing Defenses [35.407549905234994]
逆例は、機械学習アルゴリズムをクリティカルなコンテキストにデプロイする際の関心事である。
予測は、私たちが分類したい入力例にランダムノイズを加えることで滑らかになる。
ノイズレベルによっては, 平滑化による仮説の集合が縮小し, 平滑化後の自然な精度が低下する理由の1つが示唆された。
論文 参考訳(メタデータ) (2020-03-03T15:27:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。