論文の概要: Provable Robust Classification via Learned Smoothed Densities
- arxiv url: http://arxiv.org/abs/2005.04504v1
- Date: Sat, 9 May 2020 19:52:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 06:53:32.422778
- Title: Provable Robust Classification via Learned Smoothed Densities
- Title（参考訳）: 学習した滑らかな密度による確率的ロバスト分類
- Authors: Saeed Saremi, Rupesh Srivastava
- Abstract要約: 雑音の測定値から、$widehatx(Y)$, $textitBayes estimator$$ $X$という、ロバストな分類の問題を定式化する。
学習されたスムーズなエネルギー関数と線形分類器により、経験的防御と競合する堅牢な精度の証明可能な$ellを達成できることが示される。
- 参考スコア（独自算出の注目度）: 1.599072005190786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Smoothing classifiers and probability density functions with Gaussian kernels
appear unrelated, but in this work, they are unified for the problem of robust
classification. The key building block is approximating the $\textit{energy
function}$ of the random variable $Y=X+N(0,\sigma^2 I_d)$ with a neural network
which we use to formulate the problem of robust classification in terms of
$\widehat{x}(Y)$, the $\textit{Bayes estimator}$ of $X$ given the noisy
measurements $Y$. We introduce $\textit{empirical Bayes smoothed classifiers}$
within the framework of $\textit{randomized smoothing}$ and study it
theoretically for the two-class linear classifier, where we show one can
improve their robustness above $\textit{the margin}$. We test the theory on
MNIST and we show that with a learned smoothed energy function and a linear
classifier we can achieve provable $\ell_2$ robust accuracies that are
competitive with empirical defenses. This setup can be significantly improved
by $\textit{learning}$ empirical Bayes smoothed classifiers with adversarial
training and on MNIST we show that we can achieve provable robust accuracies
higher than the state-of-the-art empirical defenses in a range of radii. We
discuss some fundamental challenges of randomized smoothing based on a
geometric interpretation due to concentration of Gaussians in high dimensions,
and we finish the paper with a proposal for using walk-jump sampling, itself
based on learned smoothed densities, for robust classification.
- Abstract（参考訳）: ガウス核を持つ平滑化分類器と確率密度関数は無関係に見えるが、本研究ではロバスト分類の問題に統一されている。
主要なビルディングブロックは、$\textit{Bayes estimator}$の確率変数$Y=X+N(0,\sigma^2 I_d)$をニューラルネットワークで近似することで、$\widehat{x}(Y)$, $\textit{Bayes estimator}$のノイズ測定値$Y$のロバストな分類の問題を定式化する。
我々は,$\textit{randomized smoothing}$ のフレームワーク内で $\textit{empirical bayes smoothed classifiers}$ を導入し,理論上,$\textit{the margin}$ 以上のロバスト性向上が可能な2クラス線形分類器について検討する。
我々はmnistの理論を検証し、学習した平滑化エネルギー関数と線形分類器を用いて実証可能な$\ell_2$ロバスト・アキュラシーを証明できることを示した。
この設定は, 対角訓練付き経験的ベイズスムーズな分類器によって大幅に改善され, MNISTでは, 最先端の実証的防御装置よりも高い確固とした精度が得られることを示す。
本稿では,高次元のガウス濃度による幾何学的解釈に基づくランダム化平滑化の基本課題について議論し,学習された平滑化密度に基づくウォークジャンプサンプリングを用いたロバスト分類を提案する。
関連論文リスト
- Log-Concave Coupling for Sampling Neural Net Posteriors [0.4604003661048266]
単一層ニューラルネットワークのサンプリングアルゴリズムを提案する。
このアルゴリズムは、後続密度の$w$と補助確率変数$xi$との結合に基づいている。
補助確率変数 $xi$ の辺密度のスコアは$w|xi$ 以上の期待値によって決定される。
論文 参考訳（メタデータ） (2024-07-26T15:05:41Z) - SPLITZ: Certifiable Robustness via Split Lipschitz Randomized Smoothing [8.471466670802817]
敵の例に証明可能な堅牢性を提供するための2つのアプローチがある。
実用的で斬新なアプローチである textitSPLITZ を提案する。
textitSPLITZは、既存の最先端のアプローチを一貫して改善することを示す。
論文 参考訳（メタデータ） (2024-07-03T05:13:28Z) - Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。
我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
論文 参考訳（メタデータ） (2022-03-18T18:50:52Z) - Multimeasurement Generative Models [7.502947376736449]
我々は、密度$p_X$ in $mathbbRd$を未知分布からサンプリングする問題を学習とサンプリングの問題を$p_mathbfY$ in $mathbbRMd$とする。
論文 参考訳（メタデータ） (2021-12-18T02:11:36Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳（メタデータ） (2020-06-29T21:06:52Z) - Consistency Regularization for Certified Robustness of Smoothed
Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。
その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文 参考訳（メタデータ） (2020-06-07T06:57:43Z) - Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。
理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。
我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
論文 参考訳（メタデータ） (2020-05-13T16:44:12Z) - Towards Deep Learning Models Resistant to Large Perturbations [0.0]
敵対的堅牢性は、機械学習アルゴリズムの必須特性であることが証明されている。
とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
論文 参考訳（メタデータ） (2020-03-30T12:03:09Z) - Randomized Smoothing of All Shapes and Sizes [29.40896576138737]
最適」ノルムの適切な概念に対して、任意の「ニッチ」ノルムに対する最適な滑らか化はノルムの *Wulff Crystal* によって与えられるレベル集合を持つことを示す。
ここでは、*バナッハ空間コタイプ*の理論を通して、現在のランダム化平滑化技術に基本的な限界を示す。
論文 参考訳（メタデータ） (2020-02-19T11:41:09Z) - Curse of Dimensionality on Randomized Smoothing for Certifiable
Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。
我々はCIFARに関する実験結果を示し,その理論を検証した。
論文 参考訳（メタデータ） (2020-02-08T22:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。