Randomized smoothing (RS) has been shown to be a fast, scalable technique for
certifying the robustness of deep neural network classifiers. However, methods
based on RS require augmenting data with large amounts of noise, which leads to
significant drops in accuracy. We propose a training-free, modified smoothing
approach, Smooth-Reduce, that leverages patching and aggregation to provide
improved classifier certificates. Our algorithm classifies overlapping patches
extracted from an input image, and aggregates the predicted logits to certify a
larger radius around the input. We study two aggregation schemes -- max and
mean -- and show that both approaches provide better certificates in terms of
certified accuracy, average certified radii and abstention rates as compared to
concurrent approaches. We also provide theoretical guarantees for such
certificates, and empirically show significant improvements over other
randomized smoothing methods that require expensive retraining. Further, we
extend our approach to videos and provide meaningful certificates for video
classifiers. A project page can be found at
https://nyu-dice-lab .github.io/SmoothRed uce/
However, methods based on RS require augmenting data with large amounts of noise, which leads to significant drops in accuracy.
しかし、rsに基づく手法では、大量のノイズを伴うデータ拡張が必要となり、精度が大幅に低下する。
0.70
We propose a trainingfree, modified smoothing approach, Smooth-Reduce, that leverages patching and aggregation to provide improved classifier certificates.
Our algorithm classifies overlapping patches extracted from an input image, and aggregates the predicted logits to certify a larger radius around the input.
We study two aggregation schemes — max and mean — and show that both approaches provide better certificates in terms of certified accuracy, average certified radii and abstention rates as compared to concurrent approaches.
We also provide theoretical guarantees for such certificates, and empirically show significant improvements over other randomized smoothing methods that require expensive retraining.
While several heuristic “defenses” for such attacks have been proposed [19, 41, 31], only a handful of them are provably accurate [35, 6, 22], i.e., they provide guarantees for robust performance.
The general approach in such defenses is to certify that a deep classifier, for any input data point in a volume (parameterized by a radius) around a given input x, does not change its predictions.
このような防御における一般的なアプローチは、与えられた入力 x の周りの体積(半径でパラメータ化された)の任意の入力データポイントに対して、深い分類器がその予測を変更しないことを示すことである。
0.70
In this line of work, Wong and Kolter [35] pioneered the use of bound propagation to derive upper bounds on the certification radius for networks with ReLU activations; however, this approach fails to scale to larger networks, and the bounds become vacuous quite quickly.
Subsequently, Cohen et al [6] and Salman et al [22] employed randomized smoothing (RS) to establish bounds on the (local) Lipschitz constant of a smoothed deep classifier.
その後、Cohen et al [6] と Salman et al [22] は、滑らかな深層分類器の(局所的な)リプシッツ定数上の境界を確立するためにランダムな滑らか化(RS)を用いた。
0.66
Such approaches have since been fruitfully developed to provide non-vacuous certificates.
このようなアプローチはその後、非空の証明書を提供するために有益に開発されてきた。
0.38
Randomized smoothing (RS) methods typically involve convolving the deep classifier under consideration, f, with any smooth, continuous probability distribution, P and deriving a radius of certification R for all points around x ∗Work partially done during an internship at Bosch Center for AI (BCAI), Pittsburgh, PA.
ランダムスムーシング (RS) 法は通常、f, 任意の滑らかで連続的な確率分布を持つ深層分類器を巻き込み、ピッツバーグのBCAI (Bosch Center for AI) のインターンシップで部分的に行われた x ∗Work のすべての点に対する証明半径 R を導出する。
0.76
The project page can be found at
プロジェクトページはこちら。
0.47
https://nyu-dice-lab .github.io/SmoothRed uce/.
https://nyu-dice-lab .github.io/SmoothRed uce/。
0.32
英語（論文から抽出）
日本語訳
スコア
SmoothAdv classifier Smooth-Mean classifier
SmoothAdv 分類器 Smooth-Mean 分類器
0.28
MACER MACER + Smooth-Mean
メイカー MACER + Smooth-Mean
0.46
) R C A
) r c a である。
0.44
( s u i d a R y f i t r e C e g a r e v A
( s u i d a R y f i t r e C e g a r e v A
0.42
3 2 1 0 2.3×ACR Improvement
3 2 1 0 2.3×ACRの改善
0.44
1.6×ACR Improvement
1.6×ACRの改良
0.49
1.2×ACR Improvement
1.2×ACRの改良
0.48
0.25 0.5 Sigma (σ)
0.25 0.5 Sigma (複数形 Sigmas)
0.44
) R C A
) r c a である。
0.44
( s u i d a R y f i t r e C e g a r e v A
( s u i d a R y f i t r e C e g a r e v A
0.42
3 2 1 0 3.9×ACR Improvement
3 2 1 0 3.9×ACRの改善
0.43
2.3×ACR Improvement
2.3×ACRの改善
0.48
1.6×ACR Improvement
1.6×ACRの改良
0.49
0.25 0.5 Sigma (σ)
0.25 0.5 Sigma (複数形 Sigmas)
0.44
1 (a) RS [22] vs. Smooth-Mean
1 (a)RS[22]対Smooth-Mean
0.43
(b) MACER [40] vs. Smooth-Mean
(b)MACER[40]対Smooth-Mean
0.43
Figure 1: Smooth-Reduce improves upon Randomized Smoothing(RS).
図1: Smooth-Reduceはランダム化Smoothing(RS)を改善する。
0.72
Smooth-Reduce leverages patching to emulate ensembles to reduce variance of smooth predictions by the base classifier.
Smooth-Reduce takes any base classifier that is trained to be robust to noise and uses a RS-inspired certification algorithm to generate larger certificates with lower variants.
Our approach shows significant improvements over concurrent smoothing methods in certified accuracy and abstention rates across several datasets and classifiers.
提案手法は,複数のデータセットと分類器の同時平滑化手法よりも,精度と保持率を向上することを示す。
0.64
measured in some norm.
ある基準で測定する。
0.71
For simplicity, consider certifying models in terms of ℓ2-bounded input perturbations.
単純性については、l2有界な入力摂動の観点から認証モデルを考える。
0.51
Then, a randomized smoothing scheme produces a (bound on) a certificate parameter R such that
そして、ランダム化された平滑化スキームは証明書パラメータRを(有界に)生成する。
0.73
P (P ⋆ f (x) ̸= P ⋆ f (x + δ)) ≈ 0 for any ∥δ∥2 ≤ R.
p (p 次 f (x) ) = p 次 f (x + δ)) 次数 0 である。
0.64
In practice, this type of functional convolution is achieved by randomly sampling noise vectors zi ∼ P, adding them to copies of the input x, and performing inference over each copy.
実際、この種の関数畳み込みは、ノイズベクトル zi, p をランダムにサンプリングし、入力 x のコピーに追加し、各コピー上で推論を行うことで達成される。
0.72
The resultant smooth classifier estimates the empirical probability mass, pA for the correct class, A. Yang et al [37] derive the radius of certification using
結果の滑らかな分類器は、正しいクラスに対する経験的確率質量 pA を推定し、A. Yang et al [37] は認証半径を導出する。
0.77
(cid:90) 1/2
(出典:90)1/2
0.56
1−pA R = 1
1-pA R = 1
0.36
Φ(pA) dpA,
シュ(pA) dpA,
0.54
where pA is the probability of the correct class under the noisy inference, and Φ(·) is the appropriate CDF.
pA は雑音推論の下での正しいクラスの確率であり、(·) は適切な CDF である。
0.73
Here, the geometry of the ℓp ball influences the choice of the noise distribution.
ここでは、Lpボールの幾何学が雑音分布の選択に影響を及ぼす。
0.78
For example, Gaussian noise provides ℓ2 certificates.
例えば、ガウスノイズは l2 証明書を提供する。
0.64
The RS approach allows us to get non-trivial certificates for high-dimensional inputs, providing the first known family of theoretically provable defenses of deep neural network classifiers to adversarial attacks.
Nevertheless, there still remain several real-world shortcomings.
しかし、実際の欠点はいくつか残っている。
0.48
First, in order for the empirical probability mass to be accurately estimated, a large number of samples are necessary.
第一に、経験的確率質量を正確に推定するためには、多数のサンプルが必要である。
0.78
Second, the certified accuracy achieved via randomized smoothing (RS) is substantially lower than empirical accuracy achieved via heuristics such as adversarial training.
Several other approaches [40, 2, 11] propose improvements to prevent such a dramatic drop-off, but they involve careful model re-training with noise augmentation, often involving several heuristic parameters.
As a starting point, observe that any RS scheme involves two basic components: the base classifier f and the noise distribution P. Adding noise provides certified robustness, but decreases accuracy; resolving this tradeoff is the key.
ベース分類器 f とノイズ分布 P の 2 つの基本成分が組み合わさっていて、ノイズが加わったことで信頼性は向上するが、精度は低下し、このトレードオフの解消が鍵となる。
0.80
Works such as [2, 25, 37] focus on P, and propose convolution with more sophisticated (sometimes even data-dependent) noise distributions.
The difficulty compounds when noise augmentation and adversarial training are considered.
騒音増進と対向訓練を考慮した場合の難易度について考察した。
0.42
We overcome this difficulty by emulating an ensemble classifier by extracting a set of (large) patches from a given image, running a (single) base classifier on all these patches, and aggregating the results.
This technique has also been successfully employed by a recent series of patch-level models [8, 29].
このテクニックは、最近のパッチレベルモデル [8, 29] でもうまく採用されている。
0.69
Specifically, we posit that small affine transformations of an image induce sufficient diversity leading to more robust performance.
具体的には、画像の小さなアフィン変換は十分な多様性をもたらし、より堅牢な性能をもたらすと仮定する。
0.56
Further, we also study two popular aggregation schemes for ensembling — max and mean aggregation — and demonstrate that both significantly outperform all existing RS approaches.
さらに私たちは,センセンシングのための2つの一般的な集約スキーム – max と mean aggregate – を調査して,両者が既存の rs アプローチを大きく上回っていることを実証した。
For our image experiments, we simply sample overlapping contiguous patches.
画像実験では、重複する連続したパッチをサンプリングします。
0.62
For our video experiments, we sample overlapping subvideos from the original video stream.
ビデオ実験では、元のビデオストリームから重複するサブビデオをサンプリングした。
0.66
(2) We then follow the standard randomized smoothing approach by creating n copies of the input set, and adding independent noise vectors to each element in all copies (3) We then estimate the predicted probability of each class for each copy of the input set, and take the average of the maximum estimated predicted probability for each copy.
(4) Finally, we record certificates for the input using the expression in Corollary 1 below.
(4) 最後に, 式を用いて入力の証明書を以下に記録する。
0.61
We explain each of these steps in detail in Section 3.
それぞれのステップについて、セクション3で詳しく説明します。
0.72
3
3
0.42
英語（論文から抽出）
日本語訳
スコア
2 Related Work Certified Defenses.
2 関連作業 認証防衛。
0.68
Ever since deep classifiers have been found to be vulnerable to adversarial attacks [26, 3, 5], considerable efforts have been directed towards developing reliable defenses [19, 41, 33, 23, 39].
The above approaches lack strong theoretical guarantees.
上記のアプローチには強い理論的保証がない。
0.62
Provable defenses (that provide certificates of correctness) fall into two major categories.
予防可能な防御(正当性の証明書を提供する)は2つの主要なカテゴリに分類される。
0.57
The first category involves establishing upper bounds on the perturbation radii for the inputs of each layer (using linear, quadratic, convex, or even mixed-integer programming) and propagating these bounds to achieve a certificate for an entire network.
The second category of provable defense involves some variation of randomized smoothing (RS), which advocate “smoothing” the outputs of non-linear, non-Lipschitz networks by their functional convolution with specially-chosen noise distributions.
Subseqent works [27, 17] have presented certificates for the ℓ1 and Wasserstein metrics respectively using Laplacian smoothing.
subseqent works [27, 17] はそれぞれラプラシアン平滑化を用いて l1 と wasserstein のメトリクスの証明書を提示した。
0.64
Yang et al [37] provide a general approach to selecting distributions for various classes of adversarial attacks; unfortunately, certificates other than the ℓ2-norm have Ω(d−1/2) dependence, leading to trivial certificates for high dimensional inputs.
Yang et al [37] は敵攻撃の様々なクラスに対する分布を選択する一般的なアプローチを提供するが、残念ながら l2-ノルム以外の証明はΩ(d−1/2) 依存しており、高次元入力に対する自明な証明をもたらす。
0.62
On the practical side, the above RS methods still fall short of heuristic empirical defense methods when evaluated in terms of robust accuracy.
Therefore, several works have propose modifications to the certification scheme to improve performance.
そのため、性能向上のための認証制度の変更案がいくつか提案されている。
0.61
MACER [40] maximizes surrogates of the certified radius to train better certifiable models, while [2] finetune the variance of noise for each input data point.
Ensembled Defenses. Ensembling is one of the primary motivations for our Smooth-Reduce method.
防衛隊を編成。 ensemblingはsmooth-reduceメソッドの主な動機の1つです。
0.60
We discuss some recent relevant work in that context.
この文脈における最近の研究について論じる。
0.49
Horvath et al [11] propose ensembling over diverse classifiers and show that this decreases variance of predictions, allowing better certificates.
Horvath et al [11] は多様な分類器に対してアンサンブルを提案し、それが予測のばらつきを減少させ、より良い証明を可能にすることを示す。 訳抜け防止モード: Horvath et al [ 11 ] proposed ensembling over various classifiers これは予測のばらつきを減らし、より良い認証を可能にします。
0.79
Yang et al [38] prove that diversified gradients and large confidence margins are necessary and sufficient conditions for robust ensembles.
Yang et al [38] は、多様化した勾配と大きな信頼率が、堅牢なアンサンブルに十分な条件であることを示した。 訳抜け防止モード: Yang et al [38 ] 多様な勾配と大きな信頼率が必要だ 頑丈なアンサンブルに十分な条件だ
0.67
Liu et al [18] propose a weighted ensemble of networks as the base classifier and demonstrate they provide better certificates.
Liu et al [18]は、ネットワークの重み付けアンサンブルをベース分類器として提案し、それらがより良い証明書を提供することを示す。 訳抜け防止モード: Liu et al [18 ] は基底分類器としてネットワークの重み付けアンサンブルを提案する より良い証明書を 提供しています
0.74
While all these approaches rely on model-level ensembling, we emulate ensembles by using patching and basic linear operations.
Let f : Rd → [0, 1]c be any classifier that takes the input and assigns each class label c with probability fc.
f : Rd → [0, 1]c を入力を受け取り、各クラスラベル c に確率 fc を割り当てる任意の分類器とする。
0.79
Cohen et al [6] propose performing inference using the “smooth” classifier:
Cohen et al [6] は "smooth" 分類器を使って推論を行う。
0.73
ˆf = arg max
sf = arg max
0.30
c Ez∼N (0,σ2I) [fc(x + z)] ,
c エズンN (0,σ2I) [fc(x + z)] ,
0.41
(1) which enjoys the benefits of guarantees of correctness.
(1) 正しさの保証の利点を享受しています
0.56
To calculate these guarantees, the standard certification approach estimates the (most probable) class cA ∈ [C] and the second most probable class cB ∈ [C], as predicted by ˆf.
これらの保証を計算するために、標準認定アプローチは、(最も可能性の高い)クラス ca ∈ [c] と2番目に可能性の高いクラス cb ∈ [c] を推定する。
0.75
It also estimates upper and lower bounds (respectively), pA, pB, on the corresponding class probabilities.
また、対応するクラス確率に基づいて上と下の境界(参照)、pA、pBを推定する。
0.75
To do so, we create n0 copies of the input, add n0 i.i.d. Gaussian noise vectors sampled from N (0, σ2) and estimate pA.
The certified radius is then derived using the relation:
認定された半径は、以下の関係を用いて導出される。
0.55
(cid:0)Φ−1(pA) − Φ−1(pB)(cid:1) ,
(cid:0) =−1(pA) − s−1(pB)(cid:1) である。
0.64
σ 2 R = (2) where Φ−1(·) is the inverse Gaussian CDF (see [6, 22] for a rigorous derivation).
σ 2 R = 2) は逆ガウス CDF である(厳密な導出については [6, 22] を参照)。
0.50
Notice that the above procedure makes no assumptions on the base classifier f, and can be used to achieve a certified radius for any model (including deep neural network classifiers).
上記の手順は基底分類器 f を仮定せず、任意のモデル(ディープニューラルネットワーク分類器を含む)の認定半径を達成するのに使うことができる。
0.75
According to Eq 2, in order to obtain a higher radius of certification, we can increase either the variance of the noise or the estimated probability of the true class.
However, adding large amounts of noise to the input leads to degradation in the performance of ˆf (compared to f), and could give poor classification performance.
Indeed, the majority of works focus on training deep classifiers f that are robust to noisy inputs.
実際、多くの作品はノイズの多い入力に対して頑健な深層分類器fの訓練に焦点を当てている。
0.63
Instead of pursuing this path, we focus on obtaining an improved estimate of pA.
この経路を追求する代わりに、我々はpAの予測を改善することに集中する。
0.66
4
4
0.42
英語（論文から抽出）
日本語訳
スコア
3.1 Smooth-Reduce
3.1 Smooth-Reduce
0.25
A general approach to obtaining high-quality predictions is via ensembling.
高品質な予測を得るための一般的なアプローチは、アンサンブルである。
0.49
Using an ensemble of classifiers tends to decrease the variance of the predicted probabilities while improving accuracy [10, P. 256].
分類器のアンサンブルを用いると予測確率のばらつきが減少し,精度が向上する [10, p. 256]。
0.80
However, deep networks are very expensive to train, and training a large (and diverse) set of deep classifiers for a given training dataset can be prohibitive.
This challenge is exacerbated in RS approaches which tend to require re-training models with noise augmentation.
この課題は、ノイズ増強を伴う再学習モデルを必要とするRSアプローチでさらに悪化する。
0.63
Instead, we draw inspiration from the folklore practice of using cropping during inference to improve performance, as well as recent empirical observations regarding the considerable effectiveness of patch-based classification [8, 29].
We propose patching as a mechanism to create a diverse set of (sub)images from a single input image; this allows us to emulate an ensemble while using a single base classifier.
We create a set of inputs, X = {x1, x2 . . . xk} from a given input (base) image, x, by using sampling (uniformly at random) sub-images with d′ total pixels (with d′ < d) and upsampling each sub-image to the original resolution (with d pixels).
However, we find that it improves over ˆf in two important aspects.
しかし、2つの重要な側面において、f よりも改善されていることが分かる。
0.53
Firstly, since it emulates an ensemble of classifiers, the variance of the estimated probability pA is reduced, leading to sharper bounds on pA. (For a more in-depth discussion, see also the Appendix and [11]) Further, we find that it also increases the estimated probability values pA themselves; both aggregation options in Smooth-Reduce lead to more confident classification probabilities than the base classifier f.
まず、分類器のアンサンブルをエミュレートするため、推定確率 pA の分散は減少し、pA 上のよりシャープな境界となる(より詳細な議論では、Appendix と [11] も参照)。 訳抜け防止モード: まず、分類器のアンサンブルをエミュレートするため、推定確率pAのばらつきを低減させる。 pA のよりシャープなバウンダリに導く ( 詳細については - ディープな議論) また、Appendix と [ 11 ] ) さらに、推定確率値 pA 自体も増加し、Smooth におけるどちらのアグリゲーションオプションも、ベース分類器 f よりも信頼性の高い分類確率をもたらす。
0.81
For this to hold, we have to ensure that the patches are large enough (so that meaningful classification is achieved), and that we extract sufficiently many patches from the input image (so that we get boosts via aggregation).
3.2 Theoretical Analysis To derive certificates of performance for our proposed Smooth-Reduce classifier ¯f, we need to rethink Eq 2 when used with the new class probabilities.
The classifier either returns the most likely class
分類器は最も可能性の高いクラスを返すか
0.60
5
5
0.42
英語（論文から抽出）
日本語訳
スコア
Algorithm 1 Smooth-Reduce Certification Algorithm
アルゴリズム1 Smooth-Reduce Certification Algorithm
0.83
# certify the robustness of ¯f around x function CERTIFY(f, σ, x, n0, n, α)
# x 関数 CERTIFY(f, σ, x, n0, n, α) の周りの f のロバスト性を証明する
0.86
{xi} ← PATCHIFY(x, K) counts0 ←SMOOTHREDUCEUNDERNOI SE(f,{xi}, n0, σ) ˆcA ← top index in counts0 counts ← SMOOTHREDUCEUNDERNOI SE(f,{xi}, n, σ) pA ← LOWERCONFBOUND(count s[ˆcA], n, 1 − α) 2 return prediction ˆcA and radius σ Φ−1(pA) if pA > 1 else return ABSTAIN
x, k) counts0 と patchify(x, k) counts0 とsmoothreduceundernoi se(f,{xi}, n0, σ) と top index in counts0 counts と smoothreduceundernoi se(f,{xi}, n, σ) pa と lowerconfbound(count s[\ca], n, 1 − α) 2 return prediction sca and radius σ φ−1(pa) if pa > 1 else return abstain if pa > 1 else return abstain 訳抜け防止モード: { xi } ] patchify(x, k ) counts0 ]smoothreduceundernoi se(f,{xi }, n0, σ ) は、counts0 における top index in counts 0 counts は smoothreduceundernoi se(f,{xi) である。 }, n, σ ) pa がlowerconfbound(count s[\ca ], n, である。 1 − α ) 2 の戻り予測 σ φ−1(pa ) と半径 σ φ−1(pa ) が成立する。
0.69
# Sampling with Smooth-Reduce classifiers function SMOOTHREDUCEUNDERNOI SE(f, {xi}, n, σ)
# smooth-reduce 分類子によるサンプリング関数 smoothreduceundernoi se(f, {xi}, n, σ)
0.78
counts ← [0, 0, ...C times] for j = 1 : n
j = 1 : n に対して > [0, 0, ...C 回] を数える
0.78
{zi,j} → Sample from N (0, σ2I) {ˆyi,j} = {f (xi + zi,j)} ˆyj = REDUCE({ˆyi,j}) # Reduce over patches counts[arg maxc∈C ˆyj]+ = 1
each copy. Similar to [6], our classifier abstains unless the event, p′ Notice that since we are estimating the lower bound on pA, the robustness guarantee holds in high probability.
However, we can leverage the benefits of ensembling in each step to improve the success probability.
しかし、成功確率を改善するために、各ステップでアンサンブルの利点を利用することができます。
0.60
For example, consider that there exists an adversarial example δ for any sub-classifier fi such that ∥δ∥2 ≤ R. Suppose the probability of such an event occurring can be upper bounded by α.
例えば、任意のサブクラス化 fi に対して δ ≤ R となる逆例 δ が存在することを考えれば、そのような事象が起こる確率は α によって上界化できる。
0.79
Then, the probability of δ to be an adversarial example for ¯f is at most α/k; see the appendix for a detailed discussion.
すると δ の正反対例となる確率は、少なくとも α/k である(詳細は付録を参照のこと)。 訳抜け防止モード: そして δ の確率 to be a adversarial example―a exversarial example α / k である。 詳細な議論のために 付録を見てください
0.77
Theoretically, this allows us to achieve the same performance as ˆf with k times fewer samples.
理論的には、これは k 倍少ないサンプルで sf と同じ性能を達成することができる。
0.62
However, in practice, this may lead to a high abstention rate if the base classifier f is itself not robust enough to noise.
しかし実際には、ベース分類器 f がノイズに十分頑丈でない場合、これは高い吸収率につながる可能性がある。
0.73
We now show that Smooth-Max classifiers are inherently “harder” to attack than smooth classifiers.
現在、Smooth-Max分類器はスムーズな分類器よりも本質的に攻撃が難しいことが示されています。
0.54
For this, we adapt a proof technique from Salman et al [22] to get the following result.
これに対し、Salmanらによる証明手法[22]を適用し、以下の結果を得る。
0.59
Theorem 2. Let ¯f and ˆf be Smooth-Max and smooth classifiers as defined above.
We then use the monotonicity of Φ−1 to finish the argument.
次に、引数を終わらせるために φ−1 の単調性を用いる。
0.56
We provide a detailed proof in the supplement.
私たちはサプリメントに詳細な証拠を提供します。
0.55
Smooth-Max versus Smooth-Mean.
スムースマックス対スムース平均。
0.53
We now reflect upon the two flavors of Smooth-Reduce.
Smooth-Reduceの2つのフレーバーを反映しています。
0.59
By construction, if the base classifier succeeds on patches then Smooth-Max should intuitively perform at least as well than standard randomized smoothing.
This also showcases one of the limitations of Smooth-Max classifiers: if the base classifier, f is very robust to noise, then a bad patch can consistently be chosen leading to the Smooth-Max classifier abstaining more often.
これはまた、Smooth-Max分類器の制限の1つを示す: 基本分類器 f がノイズに対して非常に堅牢であれば、悪いパッチが一貫して選択され、Smooth-Max分類器はより頻繁に吸収される。
0.67
In such a case, the Smooth-Mean classifier rectifies this by not relying on a single patch, leading to fewer abstentions.
To meaasure the performance, we consider three metrics: (1) The approximate certified accuracy with respect to the radius, (2) Average Certified Radius (ACR), and (3) the abstention rate.
The test set, Dtest, and the corresponding certified radius, Ri, we calculate the ACR as abstention rate is defined as the fraction of abstentions for the given test set.
For the same number of copies of the input set, we see that Smooth-Reduce outperforms both in terms of certified radius and also abstains less frequently than all other approaches.
Additionally, Smooth-Reduce can be effortlessly integrated with other improvements in RS (for example, MACER [40]) without any retraining to achieve improved certificates.
Since the inputs are required to be 32×32 images, we resize each input image to be 36×36 and sample 25 patches of the size 32×32 using either a random or uniform sampling process.
To ensure fair comparison, we run SmoothAdv certification with N = 100k and α = 0.001 and Smooth-Reduce with N = 10, 000, k = 10, and use α to be 0.01 for each sub-classifier.
Increasing number of patches does not affect Smooth-Max certificates significantly.
パッチ数の増加はSmooth-Max証明書に大きな影響を与えない。
0.64
However, Smooth-Mean classifiers have a higher approximate certified accuracy as the number of patches increase, especially as the noise variance increases.
More detailed results can be found in the appendix.
詳細な結果は付録に記載されている。
0.63
4.2 Certificates for Video Classifiers
4.2 ビデオ分類用証明書
0.71
Video classifiers often employ aggregation over chunks from the video stream to tackle the problem of varying number of frames [7](see Fig 9 in appendix).
Fig. 10(see Appendix) that certified accuracies using RS are still low.
第10図(アペンディックス参照)では、RSを用いた認証精度はまだ低い。
0.65
As a remedy, we adapt our Smooth-Reduce algorithm to videos.
対策として、ビデオにSmooth-Reduceアルゴリズムを適用する。
0.70
While the natural approach here would be to simply look at overlapping chunks as analogues for patches, initial tests showed catastrophic loss of accuracy when we use single chunks for prediction.
We therefore sample overlapping sub-videos with t frames instead.
したがって、tフレームで重なり合うサブビデオをサンプリングする。
0.63
Each sub-video consists of a fixed number of chunks; each with m frames.
各サブビデオは一定数のチャンクで構成され、それぞれがmフレームを持つ。
0.70
The base video classifier aggregates over these chunks to produce a prediction.
基本ビデオ分類器はこれらのチャンクに集約し、予測を生成する。
0.61
We repeat the same process of smoothing and aggregation over the sub-videos instead of chunks, and label this as Smooth-Reduce-(t, m) where t is the number of frames in each sub-video and m is the number of frames in each chunk.
私たちは、チャンクではなくサブビデオ上での平滑化と集約という同じプロセスを繰り返すとともに、これをsmooth-reduce-(t, m)とラベル付けします。 訳抜け防止モード: チャンクの代わりにサブビデオ上でのスムーズ化とアグリゲーションという同じプロセスを繰り返します。 Smooth - Reduce-(t, m ) ここで t は各サブのフレーム数です - video と m は各チャンクのフレーム数です。
0.73
Fig 9 in the appendix shows a pictorial representation;see Sec.
付録の図9は絵の表現を示している。
0.62
B for a more detailed description.
b より詳細な説明のために。
0.80
Note here that the base classifier itself is an ensemble over multiple 16 frame chunks.
ここでは、基本分類器自体が複数の16フレームのチャンク上のアンサンブルであることに注意。
0.61
Experiments and Results. We test our approach on 3D ResNeXt-101 RGB [36] trained on UCF-101 [24].
We used the first train split and the first test split for training and testing our model, respectively.
モデルのトレーニングとテストに、最初の列車分割と最初のテスト分割を使いました。
0.71
Additional training details can be found in the appendix.
追加のトレーニングの詳細は付録に記載されている。
0.65
For inference, the video classifier [7] follows these steps: (1) the input video stream is split into non overlapping chunks of 16 frames each, (2) the model predictions on these chunks are averaged, and returned as the output class.
We run Smooth-Reduce certification by first sampling 64 frame or 128 frame sub-videos for a video stream (analogous to patching for images) to create the input set.
We encountered several challenges while attempting to certify video classifiers.
ビデオ分類器の認証中に,いくつかの課題に遭遇した。
0.52
A significant challenge was training noise robust classifiers.
重要な課題は、ノイズロバストな分類器の訓練であった。
0.47
We observe that adding Gaussian noise to video data often led to catastrophic decreases in accuracy.
ビデオデータにガウスノイズを加えると、しばしば壊滅的な精度低下が生じた。
0.70
This could be an artifact of the architecture which averages predictions over frames by itself.
これは、フレームの予測をそれ自体で平均化するアーキテクチャの成果物かもしれない。
0.70
Further, the memory requirements often became insurmountable to get high probability certificates.
さらに、メモリ要件はしばしば高い確率証明書を取得するために必要となる。
0.67
Our certificates here have been estimated using n0 = 10 samples for prediction, and n = 1000 samples for certification with a failure probability of α = 0.001%.
However, Smooth-Reduce allows for lower sample complexity (see appendix), allowing for Smooth-Mean models to still achieve non-trivial certified accuracies.
Base Smooth Classifier Smooth-max classifier Smooth-mean classifier
ベーススムース分類器 Smooth-max 分類器 Smooth-mean 分類器
0.53
σ = 0.5 1 0.8
σ = 0.5 1 0.8
0.37
0.6 0.4 0.2
0.6 0.4 0.2
0.39
0 . c c A d e fi
0 . c c A d e fi
0.43
i t r e C .
I t r e C .
0.42
p p A
p p a である。
0.54
0.4 0.6 Certified Radius
0.4 0.6 認定半径
0.52
0.8 1 0 0.5 1.5 Certified Radius
0.8 1 0 0.5 1.5 認定半径
0.43
1 2 Figure 5: Effect of resizing.
1 2 図5:リサイズの影響。
0.52
(L) Notice that as the input size increases, the information in each patch correspondingly decreases.
(l)入力サイズが大きくなると、各パッチの情報は対応するほど減少する。
0.74
The base classifier performs worse overall for each patch leading to lower certified accuracy.
ベース分類器は、各パッチに対して総合的に悪化し、認証精度が低下する。
0.58
(b) Certification with Confidence Calibration (R).
(b)信頼性校正(R)による認定
0.78
Under the same number of overall samples and calibrated failure probabilites, Smooth-Reduce out-performs standard RS [22] in both certification radius and certified accuracy.
While theoretically it should not affect the radius, the base classifier does assume that the features would be of a certain size.
理論的には半径には影響しないが、基底分類器は特徴が一定の大きさであると仮定する。
0.74
We analyse the effect of the resizing step by resizing Imagenet test images to 384 × 384, 512 × 512 and, 640 × 640 and sampling 16 patches of 224 × 224 randomly.
Random v/s dense sampling: Since sampling of patches plays a large role in creating a diverse input set, we also analyse the effect of two sampling approaches; dense and uniform random.
For random sampling, we select patches randomly with replacement from the resized input image, and discarding any ‘invalid’ patches that fall outside the image borders.
We observe that the sampling process does not affect the certification process as long as the number of patches are high enough (see Fig 7 in appendix).
We empirically and theoretically proved that Smooth-Reduce classifiers improve over standard randomized smoothing in terms of certified radii, as well as abstention rate.
Further, we have not studied adaptive attacks for this scheme, and constructing reasonable attacks for such classifiers (and verifying these certificates empirically) is a complex research question in and of itself.
AJ, MC, MP, and CH would also like to acknowledge NSF grants CCF-2005804 and CCF-1815101, USDA/NIFA grant 2021-67021-35329, and ARPA-E DIFFERENTIATE grant DE-AR0001215.
1 1.5 2 Figure 7: Effect of Sampling Algorithm The sampling algorithm does not affect the certified accuracy in any significant manner for both Smooth-Reduce classifiers, suggesting that the only hyperparameter of consequence is the number of patches (k).
In order to understand the effect of sampling, we analyse the performance of Smooth-Reduce on CIFAR-10 under two sampling schemes: (1) randomly sampling patches under an Uniform distribution, and, (2) densely sampling patches with a specific stride length.
An important question that arises is if the improved certification performance is an artifact of the higher number of samples.
重要な疑問は、改善された認証性能がより多くのサンプルの成果物であるかどうかである。
0.68
We show that this is not the case by certifying SmoothAdv [22] and Smooth-Reduce with the same number of samples, N = 100k.
我々は、SmoothAdv [22] と Smooth-Reduce を同じ数のサンプル N = 100k で証明することは、そうではないことを示す。
0.79
For ensuring fair comparison, we reduce the failure rate probability rate per Smooth-Reduce sub-classifier to α = 0.01 in comparison to α = −0.001 for SmoothAdv.
B Video Classifiers Video classifiers come in a large variety of flavors; 3d convolutional [], hybrid conv-LSTM models [], optical flow-based models [], and others.
In this paper, we only focus on certifying pure RGB frame based models.
本稿では、純粋なRGBフレームベースモデルの認証のみに焦点を当てる。
0.79
This is both due to the models being less computationally expensive as well as achieving high benign performance without a large amount of heuristic tuning.
Following [7], we use SGD with weight decay of 0.0005, momentum of 0.9, and initial learning rate of 0.1.
7]に従うと、重量減衰0.0005、運動量0.9、初等学習率0.1のSGDを用いる。
0.71
In order to make the classifiers robust to Gaussian noise, we also use Gaussian noise augmentation similar to [6].
分類器をガウス雑音に頑健にするために, [6] と同様のガウス雑音拡張を用いる。
0.64
Further, we also use the noise-variance scheduling scheme presented in [22], by slowly incrementing noise from 0 to the required noise levels every 20 epochs.
The algorithm then returns the class with the largest count.
するとアルゴリズムは最大のカウントでクラスを返します。
0.84
We show results of this in Fig 10 for noise varinaces of 0.25, 0.5, and 1.0.
ノイズ変数0.25,0.5,1.0については,図10に示す。
0.69
Notice that while the certified radii are still somewhat low, Smooth-Reduce outperforms standard Randomized smoothing, certifying not only larger radii but also providing greater certified accuracies.
Figure 9: Smooth-Reduce for Videos: Video classifiers include averaging over frames or chunks of frames.
図9: Smooth-Reduce for Videos: ビデオ分類器は、フレームまたはフレームの塊の平均化を含む。
0.75
Observing that larger chunk sizes provide better certificates, Smooth-Reduce takes this a step further by first sampling overlapping sub-videos with 4 or 8 chunks of 16 frames each.
Model nomenclature is as follows; for standard randomized smoothing, models are named as Standard RS-CHUNK-SIZE; for Smooth-Reduce, we use Smooth-{max/mean}-SUB-VIDEO SIZE, CHUNK SIZE, in terms of number of frames.
C Deferred Theorems and Proofs Theorem 3 (Smooth-Max classifiers certify larger radii).
c 延期定理と証明 Theorem 3 (Smooth-Max分類器はより大きな半径を証明している)。
0.60
Let ˆf and ¯f be the standard RS classifier and the Smooth-Max classifier as defined, if R ˆf and R ¯f represent the certified radii for the two classifiers for a specific input, x, then
s を標準 rs 分類器とし、smooth-max 分類器を定義通りとする、もし r/f と r/f が特定の入力 x に対する 2 つの分類器の認定基数を表すならば、
0.72
for all x. R ¯f ≥ R ˆf
すべてのXのために R-f ≥ R-f
0.68
Proof. Assume that the correct class predicted by both ˆf and ¯f is A. Let pA be the probability estimate for the ˆf smooth classifier, and p′ We make a minor assumption here, that the input set is large enough that it contains the original image, xc = x.
証明。 pA を滑らかな分類器の確率推定とし、p′ ここでは、入力集合が元の像 xc = x を含むほど大きいと仮定する。 訳抜け防止モード: 証明。 af と af の両方によって予測される正しいクラスが A であると仮定する。 pA は滑らかな分類器の確率推定である。 p′ 私たちはここで小さな仮定をします 入力集合は元のイメージ xc = x を含むほどの大きさである。
0.71
This can be easily enforced by appending the original image to the input set.
これは入力セットに元のイメージを追加することで簡単に強制できる。
0.72
Now, A be that for ¯f4 for n samples.
いま。 n 個のサンプルに対して、f4 が成り立つ。
0.60
(cid:80)n (cid:80)n
(cid:80)n (cid:80)n
0.41
= 1 n pA p′ A = 1 n
= 1n pa p′ a = 1 n である。
0.52
j=1 f (xc + zj)
j=1 f (xc + zj)
0.94
j=1 maxi f (xi + zj)
j=1 maxi f (xi + zj)
0.48
(5) (6) , where xc refers to the center-crop of the resized x.
(5) (6) ここで xc は、再サイズ x の中心頭皮を指す。
0.61
By definition, p′ A will always be greater than or equal to pA.
定義により p′ A は常に pA よりも大きいか等しい。
0.79
Therefore, the above statement holds true.
したがって、上記の主張は真である。
0.69
We also prove that Smooth-Reduce classifiers have a lower failure probability for a given perturbation δ.
また、Smooth-Reduce分類器が与えられた摂動δの失敗確率が低いことも証明する。
0.68
Theorem 4 (Smooth-Reduce confidence bounds).
定理 4 (smooth-reduce confidence bounds)。
0.37
Let ˆf and ¯f be the smooth and Smooth-Reduce classifiers defined above.
sf と sf を滑らかかつ滑らかな Smooth-Reduce 分類器とする。
0.55
Let fi be the sub-classifiers in ¯f.
fi を f のサブクラスとする。
0.58
Let R be the certified radius for ¯f w derived using the Smooth-Reduce CERTIFY subroutine with n samples and k patches, with probability α1.
R を、n 個のサンプルと k 個のパッチを持つ Smooth-Reduce CERTIFY subroutine を用いて、確率 α1 の確率で導出される f w の認定半径とする。
0.63
Let Ri, i = 1 : k be the same for the sub-classifiers, fi, derived using standard smoothing certification with n samples with probability α.
ri, i = 1 : k を、確率 α の n 個のサンプルによる標準平滑化証明を用いて派生した部分分類子 fi に対して同じとする。 訳抜け防止モード: Ri, i = 1 : k を部分分類器で同じとする。 確率 α の n サンプルを用いた標準平滑化証明を用いて導出する。
0.86
Then, for Smooth-Mean classifiers, α1 ≤ e−kα(2eα)k/2
そして、Smooth-Mean分類について、α1 ≤ e−kα(2eα)k/2
0.56
Proof. Assume that our Smooth-Mean classifer, ¯f CERTIFY method returns some certified radius, R with the correct class, A for the given number of samples, N and patches, p.
証明。 我々の Smooth-Mean classifer, ~f CERTIFY メソッドが正しいクラスを持つ証明された半径 R、与えられたサンプル数 N とパッチ数 p に対して A を返すと仮定する。
0.71
Further, we can use CERTIFY from [6] to estimate certified radii, Ri, for each of the subclassifiers, fi in ¯f.
さらに、[6] から CERTIFY を用いて証明された radii, Ri を、各部分分類器 , fi の f に対して推定することができる。
0.70
We assume here that the hard-classifier ensemble and the soft ensemble (that Smooth-Mean uses) are equivalent.
Under this assumption, as Smooth-Mean relies on majority vote, in order for x + δ to be an adversarial example, we need at least half of the classifiers to fail.
To analyse this, let mi be a Bernoulli random variable such that it takes the value 1 if classifier fi fails and 0 otherwise.
これを分析するために、m をベルヌーイ確率変数とし、分類器 fi が失敗し 0 がなければ値 1 を取るようにする。
0.66
Thus, Therefore, for x + δ to be an adversarial example,
したがって したがって、x + δ を逆の例とする。
0.72
P[∥δ∥ < R] = P[
r は p[ ] = p[ である。
0.72
k(cid:88) i=1
k(cid:88) i=1 である。
0.36
mi ≥ k/2] P[∥δ∥ < Ri] = P[mi = 1] = α
mi ≥ k/2] p[\δ] <ri] = p[mi = 1] = α である。
0.62
Using a Chernoff bound [30, Thm. 2.3.1] for the sum of independent Bernoulli random variables, we get;
独立ベルヌーイ確率変数の和に[30, Thm. 2.3.1] を用いると、得られる。
0.63
k(cid:88) P[
k(cid:88) P[
0.42
mi ≥ k/2] ≤ e−kα(2eα)k/2
mi ≥ k/2] ≤ e−kα(2eα)k/2
0.32
Note that this function decays very quickly with k, and therefore can be easily tuned to get better confidence bounds.
この関数は k で非常に早く減衰するため、より優れた信頼境界を得るために簡単に調整できる。
0.79
While our approach relies on analysing a specific version of the adversarial example which attacks all classifiers simultaneously, we recognize that this might not be the case in general.
For example, another attack may presume to make the classifier abstain every time.
例えば、別のアタックは、クラス化子を毎回棄権させる可能性がある。
0.64
We do not analyse this case here, and leave the details to future work.
このケースはここでは分析せず、詳細は今後の作業に任せます。
0.75
i=1 18
i=1 である。 18
0.37
英語（論文から抽出）
日本語訳
スコア
C.1 Analysing Logits under Smooth-Reduce Ensembling
C.1 Smooth-Reduce によるロジット解析
0.48
We further validate our claims regarding confidence intervals of Smooth-Reduce certificates by analysing the logit distribution for standard RS and Smooth-Reduce classifiers.
Further, we certify both Smooth-Max and Smooth-Mean classifiers under the same setup.
さらに,Smooth-MaxとSmooth-Meanを同一設定で認証する。
0.74
We then plot histograms of the distributions of logits.
次に、ロジットの分布のヒストグラムをプロットする。
0.71
Fig 11 and Fig 12 show exemplars of generated histograms.
fig 11とfig 12は、生成したヒストグラムの例示を示す。
0.66
Observations and Inferences. Notice that the certified radius, R from Eq 2 is proportional to the difference in the estimated probabilities of the two most probable classes.
観察と推測。 eq 2 からの認定半径 r は、2 つの最も可能性の高いクラスの推定確率の差に比例していることに注意。
0.71
This difference is also proportional to the classifier margin.
この差は分類器のマージンにも比例する。
0.79
Therefore, in order to get better certificates, we need to ensure that the smooth-classifier presents large margins, as well higher probability estimate for the true class, cA.
Notice here that R depends on the difference between the means of the distribution for the most probable class (blue) and the second most probable class (orange).
This may lead to higher abstention rates as well as lower certificates.
これは高い棄権率と低い証明書につながる可能性がある。
0.62
However, Smooth-Mean showcases not only higher estimates of pA but also a lower variance, thus improving upon both the certified radius and probability of abstention.
Figure 11: Logit Distributions for Smooth Classifiers for CIFAR-10.The histograms are arranged as follows: (L) SmoothAdv classifier, (M) Smooth-Max classifier, and (R) Smooth-Mean classifier.
However, the logit values are still skewed lower than those for images, and the variance across the logit values is fairly higher.
しかし、ロジット値はまだ画像よりも低く歪められており、ロジット値のばらつきはかなり高い。
0.52
This explains why our video certificates are far lower than image certificates.
これは、ビデオ証明書が画像証明書よりもはるかに低い理由を説明する。
0.56
We conjecture that this is an effect of the difficulty in training noise-robust 3D CNN models for video.
これは,映像用3次元CNNモデルのトレーニングの難しさによるものであると推測する。
0.71
However, we leave exploring this phenomenon to future work.
しかし、我々はこの現象を将来の研究に任せる。
0.72
C.2 Some Additional Discussion on Confidence Intervals for Ensembling
C.2 センシムリングの信頼区間に関する議論
0.36
We also reproduce some results by [11] which support increasing success rates for Smooth-Mean.
また,Smooth-Meanの成功率向上を支援する[11]の結果を再現する。
0.76
Horvath et al [11] analyse the following soft ensemble classifier,
horvath et al [11] 次のソフトアンサンブル分類器を分析する。
0.69
¯f (x) = 1 k
シュフ(x) = 1k
0.46
fi(x).
fi(x) である。
0.77
k(cid:88) i=1
k(cid:88) i=1 である。
0.36
Let yi be the logits from each of the sub-classifiers, fi, and y be the same for the ensembled classifier.
yi を各サブ分類器のロジットとし、fi と y をアンサンブルされた分類器で同じとする。
0.69
They further model yi = yi,c + yi,p, where yi,c is a random variable representing the contribution of the ith sub-classifier and yi,p represents the contribution due to random noise added during randomized smoothing.
This results in lower certified radii and higher abstention rates as seen in Fig 6.
その結果、第6図に示すように、低い認定基数、高い吸収率が得られる。
0.57
However, Smooth-Mean still outperforms SmoothAdv.
しかし、smooth-meanはsmoothadvよりも優れている。
0.46
processes of training and smoothing are independent.
トレーニングと平滑化のプロセスは 独立しています
0.66
Notice that Smooth-Mean classifiers are a special class of such classifiers, where the sub-classifiers are constructed with independent sampling matrices.
They present the following result on success probabilities, Informal Theorem[From [11]] For a soft-ensemble of k classifiers which provides a certificate with radius R with probability 1 − α1, the upper bound of the probability of failure decreases with O(k2) To measure the effect on success probability, we consider the probability of a majority of the sub-classifiers predicting class 1, β1.
彼らは成功確率について以下の結果を示す: Informal Theorem[From [11]] 確率 1 − α1 の半径 R の証明を与える k 分類器のソフトアンサンブルの場合、失敗確率の上限は O(k2) で減少する。 訳抜け防止モード: 彼らは成功確率について以下の結果を示す: Informal Theorem[From [ 11 ] ] for a soft-enmble of k classifiers which provides a certificate with radius R with probability 1 − α1。 失敗の確率の上限は O(k2 ) で減少する 成功確率に対する影響を測定する。 クラス 1 を予測している部分分類器の大多数の確率を考える。
d¯z While this integral cannot be evaluated directly as we do not know the density function for z, we can lower bound β1 using Chebyshev’s inequality and the union bound over the incorrect [2, C] classes.
通称「d」。 この積分は z の密度関数を知らないので直接評価することはできないが、チェビシェフの不等式と不正確な [2, C] クラス上の和集合を用いて、境界 β1 を下げることができる。
0.47
β1 ≥ 1 − C(cid:88)
β1 ≥ 1 − C(cid:88)
0.44
i=1 (σi,c(k)2 + σi,p(k)2
i=1 である。 (σi,c(k)2 + σi,p(k)2)
0.40
(c1 − ci)2
(c1 − ci)2
0.49
. As σi,c and σi,k decrease quadratically with increasing k, we can prove the above theorem.