論文の概要: Differentially Private Adversarial Robustness Through Randomized Perturbations

• arxiv url: http://arxiv.org/abs/2009.12718v1
• Date: Sun, 27 Sep 2020 00:58:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 03:28:12.156192
• Title: Differentially Private Adversarial Robustness Through Randomized Perturbations
• Title（参考訳）: ランダムな摂動による個人的対向性ロバスト性
• Authors: Nan Xu, Oluwaseyi Feyisetan, Abhinav Aggarwal, Zekun Xu, Nathanael Teissier
• Abstract要約: ディープニューラルネットワークは、正しく分類された例に対する小さな摂動に確実に敏感であり、誤った予測につながる。 本稿では,ランダムな摂動による対向ロバスト性について検討する。 提案手法は,ガムベル雑音に基づく新しい密度ベース機構を用いる。
• 参考スコア（独自算出の注目度）: 16.187650541902283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks, despite their great success in diverse domains, are provably sensitive to small perturbations on correctly classified examples and lead to erroneous predictions. Recently, it was proposed that this behavior can be combatted by optimizing the worst case loss function over all possible substitutions of training examples. However, this can be prone to weighing unlikely substitutions higher, limiting the accuracy gain. In this paper, we study adversarial robustness through randomized perturbations, which has two immediate advantages: (1) by ensuring that substitution likelihood is weighted by the proximity to the original word, we circumvent optimizing the worst case guarantees and achieve performance gains; and (2) the calibrated randomness imparts differentially-private model training, which additionally improves robustness against adversarial attacks on the model outputs. Our approach uses a novel density-based mechanism based on truncated Gumbel noise, which ensures training on substitutions of both rare and dense words in the vocabulary while maintaining semantic similarity for model robustness.
• Abstract（参考訳）: ディープニューラルネットワークは、さまざまな領域で大きな成功を収めているが、正しく分類された例の小さな摂動に敏感であり、誤った予測に繋がる。 近年,トレーニング例のすべての置換に対して最悪のケース損失関数を最適化することで,この行動に対処できる可能性が示唆された。 しかし、これは不可能な置換の重み付けが難しくなり、精度の上昇が制限される。 本稿では,(1)置換確率が元の単語に近接して重み付けされることを保証し,最悪の場合の保証を回避し,性能向上を実現すること,(2)キャリブレーションされたランダムネスは,モデル出力に対する敵対的攻撃に対するロバスト性を付加する差分プライベートモデルトレーニングを付与すること,の2つの直接的な利点について検討する。 提案手法では, モデルロバスト性のセマンティックな類似性を維持しつつ, 語彙中の稀な単語と密な単語の置換の訓練を確実にする, 切り裂きガムベル雑音に基づく新しい密度ベース機構を用いる。

関連論文リスト

• Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
  我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。 実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-18T03:57:12Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• SmoothMix: Training Confidence-calibrated Smoothed Classifiers for Certified Robustness [61.212486108346695]
  自己混合によるスムーズな分類器のロバスト性を制御するためのトレーニングスキームSmoothMixを提案する。 提案手法は, 厳密性に制限された原因として, 信頼性の低い, オフクラスに近いサンプルを効果的に同定する。 提案手法はスムーズな分類器の検証値である$ell$-robustnessを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-11-17T18:20:59Z)
• Adversarially Robust Classifier with Covariate Shift Adaptation [25.39995678746662]
  既存の敵の訓練されたモデルは通常、テスト例に対して互いに独立して推論を行う。 単純な適応バッチ正規化(BN)技術は、ランダムな摂動に対してこれらのモデルのロバスト性を大幅に向上させることができることを示す。 さらに,適応BN手法は,敵攻撃に対する性能を高めつつも,一般的な汚職に対する堅牢性を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2021-02-09T19:51:56Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)
• Hidden Cost of Randomized Smoothing [72.93630656906599]
  本稿では、現在のランダム化平滑化による副作用を指摘する。 具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
  論文  参考訳（メタデータ） (2020-03-02T23:37:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。