論文の概要、ライセンス

# (参考訳) Smooth-Reduce: 認証ロバスト性向上のためのパッチの活用 [全文訳有]

Smooth-Reduce: Leveraging Patches for Improved Certified Robustness ( http://arxiv.org/abs/2205.06154v1 )

ライセンス: CC BY 4.0
Ameya Joshi, Minh Pham, Minsu Cho, Leonid Boytsov, Filipe Condessa, J. Zico Kolter, Chinmay Hegde(参考訳) ランダムスムーシング(RS)は、ディープニューラルネットワーク分類器の堅牢性を証明するための高速でスケーラブルなテクニックであることが示されている。 しかし、rsに基づく手法では、大量のノイズを伴うデータ拡張が必要となり、精度が大幅に低下する。 我々は,分類子証明書の改善のためにパッチとアグリゲーションを活用する,トレーニングフリーな修正スムース化手法であるsmooth-reduceを提案する。 提案アルゴリズムは,入力画像から抽出した重なり合うパッチを分類し,予測ロジットを集約して,入力周辺の半径を大きくする。 我々は,2つの集約方式 -- 最大値と平均値 -- を調査し,両手法が同時アプローチと比較して,認証精度,平均radii,棄却率の点で優れた証明書を提供することを示した。 また,このような証明書に対する理論的保証も提供し,高額な再トレーニングを必要とする他のランダム化スムース化手法に対する大幅な改善を実証的に示す。 さらに,本手法をビデオに適用し,ビデオ分類者に対して有意義な証明書を提供する。 プロジェクトページはhttps://nyu-dice-lab .github.io/SmoothRed uce/にある。

Randomized smoothing (RS) has been shown to be a fast, scalable technique for certifying the robustness of deep neural network classifiers. However, methods based on RS require augmenting data with large amounts of noise, which leads to significant drops in accuracy. We propose a training-free, modified smoothing approach, Smooth-Reduce, that leverages patching and aggregation to provide improved classifier certificates. Our algorithm classifies overlapping patches extracted from an input image, and aggregates the predicted logits to certify a larger radius around the input. We study two aggregation schemes -- max and mean -- and show that both approaches provide better certificates in terms of certified accuracy, average certified radii and abstention rates as compared to concurrent approaches. We also provide theoretical guarantees for such certificates, and empirically show significant improvements over other randomized smoothing methods that require expensive retraining. Further, we extend our approach to videos and provide meaningful certificates for video classifiers. A project page can be found at https://nyu-dice-lab .github.io/SmoothRed uce/
公開日: Thu, 12 May 2022 15:26:20 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
SMOOTH-REDUCE: LEVERAGING PATCHES FOR IMPROVED 減量:改良されたパッチを除去する 0.27
CERTIFIED ROBUSTNESS Ameya Joshi ∗1, Minh Pham1, Minsu Cho1, Leonid Boytsov2, Filipe Condessa2, J. Zico 認定ロバスト性 Ameya Joshi ∗1, Minh Pham1, Minsu Cho1, Leonid Boytsov2, Filipe Condessa2, J. Zico 0.46
Kolter2, and Chinmay Hegde1 Kolter2 と Chinmay Hegde1 0.48
1New York University 2Bosch Center for AI 1 New York University 2Bosch Center for AI 0.47
{ameya.joshi, mp5847, mc8065, chinmay.h}@nyu.edu {leonid.boystov, filipe.condessa}@us.bosch.com mc8065, chinmay.h}@nyu.edu {leonid.boystov, filipe.condessa}@us.bosch.com 0.38
jkolter@cs.cmu.edu jkolter@cs.cmu.edu 0.29
ABSTRACT Randomized smoothing (RS) has been shown to be a fast, scalable technique for certifying the robustness of deep neural network classifiers. ABSTRACT ランダムスムーシング(RS)は、ディープニューラルネットワーク分類器の堅牢性を証明するための高速でスケーラブルなテクニックであることが示されている。 0.53
However, methods based on RS require augmenting data with large amounts of noise, which leads to significant drops in accuracy. しかし、rsに基づく手法では、大量のノイズを伴うデータ拡張が必要となり、精度が大幅に低下する。 0.70
We propose a trainingfree, modified smoothing approach, Smooth-Reduce, that leverages patching and aggregation to provide improved classifier certificates. 我々は,分類子証明書の改良にパッチとアグリゲーションを活用する,トレーニングフリーな修正スムース化手法であるsmooth-reduceを提案する。 0.65
Our algorithm classifies overlapping patches extracted from an input image, and aggregates the predicted logits to certify a larger radius around the input. 提案アルゴリズムは,入力画像から抽出した重なり合うパッチを分類し,予測ロジットを集約して,入力周辺の半径を大きくする。 0.80
We study two aggregation schemes — max and mean — and show that both approaches provide better certificates in terms of certified accuracy, average certified radii and abstention rates as compared to concurrent approaches. 我々は、最大と平均の2つのアグリゲーションスキームを調査し、両方のアプローチが、同時アプローチと比較して、認証精度、平均認定ラジイおよび平均棄権率の点でより良い証明を提供することを示す。 0.63
We also provide theoretical guarantees for such certificates, and empirically show significant improvements over other randomized smoothing methods that require expensive retraining. また,このような証明書に対する理論的保証も提供し,高額な再トレーニングを必要とする他のランダム化スムース化手法に対する大幅な改善を実証的に示す。 0.58
Further, we extend our approach to videos and provide meaningful certificates for video classifiers. さらに,本手法をビデオに適用し,ビデオ分類者に対して有意義な証明書を提供する。 0.59
Keywords Adversarial defenses, Certifiable defenses, Randomized Smoothing, Ensemble Models, Robust Video Classifiers キーワード 敵防御、認証防御、ランダム化平滑化、アンサンブルモデル、ロバストビデオ分類器 0.69
1 Introduction Motivation. 1 はじめに モチベーション。 0.49
Deep networks have been shown to be notoriously prone to “ attacks” if an adversary were allowed to modify their input [9, 26, 3]. ディープネットワークは、敵が入力[9, 26, 3]を変更することを許された場合に“攻撃”になりやすいことで悪名高い。 0.71
While several heuristic “defenses” for such attacks have been proposed [19, 41, 31], only a handful of them are provably accurate [35, 6, 22], i.e., they provide guarantees for robust performance. このような攻撃に対するいくつかのヒューリスティックな“防御”が提案されている [19, 41, 31] が、確実な正確な[35, 6, 22]、すなわち、堅牢なパフォーマンスの保証を提供するのはわずかである。 0.79
The general approach in such defenses is to certify that a deep classifier, for any input data point in a volume (parameterized by a radius) around a given input x, does not change its predictions. このような防御における一般的なアプローチは、与えられた入力 x の周りの体積(半径でパラメータ化された)の任意の入力データポイントに対して、深い分類器がその予測を変更しないことを示すことである。 0.70
In this line of work, Wong and Kolter [35] pioneered the use of bound propagation to derive upper bounds on the certification radius for networks with ReLU activations; however, this approach fails to scale to larger networks, and the bounds become vacuous quite quickly. この一連の研究において、Wong と Kolter [35] は、ReLUアクティベーションを持つネットワークの認証半径上の上限を導出する有界伝播の先駆者となったが、このアプローチはより大きなネットワークにスケールできず、境界はすぐに空白になる。 0.67
Subsequently, Cohen et al [6] and Salman et al [22] employed randomized smoothing (RS) to establish bounds on the (local) Lipschitz constant of a smoothed deep classifier. その後、Cohen et al [6] と Salman et al [22] は、滑らかな深層分類器の(局所的な)リプシッツ定数上の境界を確立するためにランダムな滑らか化(RS)を用いた。 0.66
Such approaches have since been fruitfully developed to provide non-vacuous certificates. このようなアプローチはその後、非空の証明書を提供するために有益に開発されてきた。 0.38
Randomized smoothing (RS) methods typically involve convolving the deep classifier under consideration, f, with any smooth, continuous probability distribution, P and deriving a radius of certification R for all points around x ∗Work partially done during an internship at Bosch Center for AI (BCAI), Pittsburgh, PA. ランダムスムーシング (RS) 法は通常、f, 任意の滑らかで連続的な確率分布を持つ深層分類器を巻き込み、ピッツバーグのBCAI (Bosch Center for AI) のインターンシップで部分的に行われた x ∗Work のすべての点に対する証明半径 R を導出する。 0.76
The project page can be found at プロジェクトページはこちら。 0.47
https://nyu-dice-lab .github.io/SmoothRed uce/. https://nyu-dice-lab .github.io/SmoothRed uce/。 0.32
英語(論文から抽出)日本語訳スコア
SmoothAdv classifier Smooth-Mean classifier SmoothAdv 分類器 Smooth-Mean 分類器 0.28
MACER MACER + Smooth-Mean メイカー MACER + Smooth-Mean 0.46
) R C A ) r c a である。 0.44
( s u i d a R y f i t r e C e g a r e v A ( s u i d a R y f i t r e C e g a r e v A 0.42
3 2 1 0 2.3×ACR Improvement 3 2 1 0 2.3×ACRの改善 0.44
1.6×ACR Improvement 1.6×ACRの改良 0.49
1.2×ACR Improvement 1.2×ACRの改良 0.48
0.25 0.5 Sigma (σ) 0.25 0.5 Sigma (複数形 Sigmas) 0.44
) R C A ) r c a である。 0.44
( s u i d a R y f i t r e C e g a r e v A ( s u i d a R y f i t r e C e g a r e v A 0.42
3 2 1 0 3.9×ACR Improvement 3 2 1 0 3.9×ACRの改善 0.43
2.3×ACR Improvement 2.3×ACRの改善 0.48
1.6×ACR Improvement 1.6×ACRの改良 0.49
0.25 0.5 Sigma (σ) 0.25 0.5 Sigma (複数形 Sigmas) 0.44
1 (a) RS [22] vs. Smooth-Mean 1 (a)RS[22]対Smooth-Mean 0.43
(b) MACER [40] vs. Smooth-Mean (b)MACER[40]対Smooth-Mean 0.43
Figure 1: Smooth-Reduce improves upon Randomized Smoothing(RS). 図1: Smooth-Reduceはランダム化Smoothing(RS)を改善する。 0.72
Smooth-Reduce leverages patching to emulate ensembles to reduce variance of smooth predictions by the base classifier. Smooth-Reduceはパッチを利用してアンサンブルをエミュレートし、ベース分類器による滑らかな予測のばらつきを減らす。 0.60
We study two flavors of SmoothReduce that use max and mean aggregation schemes respectively. 最大と平均のアグリゲーションスキームをそれぞれ用いた2種類のSmoothReduceについて検討した。 0.60
Smooth-Reduce takes any base classifier that is trained to be robust to noise and uses a RS-inspired certification algorithm to generate larger certificates with lower variants. Smooth-Reduceは、ノイズに対して堅牢なトレーニングを受けたベース分類器を持ち、RSにインスパイアされた認証アルゴリズムを使用して、より低い変種でより大きな証明書を生成する。
訳抜け防止モード: smooth - reduceは、ノイズにロバストするようにトレーニングされたベース分類器 rs-インスパイアされた認証アルゴリズムを使って より低い変種でより大きな証明書を生成する。
0.64
Our approach shows significant improvements over concurrent smoothing methods in certified accuracy and abstention rates across several datasets and classifiers. 提案手法は,複数のデータセットと分類器の同時平滑化手法よりも,精度と保持率を向上することを示す。 0.64
measured in some norm. ある基準で測定する。 0.71
For simplicity, consider certifying models in terms of ℓ2-bounded input perturbations. 単純性については、l2有界な入力摂動の観点から認証モデルを考える。 0.51
Then, a randomized smoothing scheme produces a (bound on) a certificate parameter R such that そして、ランダム化された平滑化スキームは証明書パラメータRを(有界に)生成する。 0.73
P (P ⋆ f (x) ̸= P ⋆ f (x + δ)) ≈ 0 for any ∥δ∥2 ≤ R. p (p 次 f (x) ) = p 次 f (x + δ)) 次数 0 である。 0.64
In practice, this type of functional convolution is achieved by randomly sampling noise vectors zi ∼ P, adding them to copies of the input x, and performing inference over each copy. 実際、この種の関数畳み込みは、ノイズベクトル zi, p をランダムにサンプリングし、入力 x のコピーに追加し、各コピー上で推論を行うことで達成される。 0.72
The resultant smooth classifier estimates the empirical probability mass, pA for the correct class, A. Yang et al [37] derive the radius of certification using 結果の滑らかな分類器は、正しいクラスに対する経験的確率質量 pA を推定し、A. Yang et al [37] は認証半径を導出する。 0.77
(cid:90) 1/2 (出典:90)1/2 0.56
1−pA R = 1 1-pA R = 1 0.36
Φ(pA) dpA, シュ(pA) dpA, 0.54
where pA is the probability of the correct class under the noisy inference, and Φ(·) is the appropriate CDF. pA は雑音推論の下での正しいクラスの確率であり、(·) は適切な CDF である。 0.73
Here, the geometry of the ℓp ball influences the choice of the noise distribution. ここでは、Lpボールの幾何学が雑音分布の選択に影響を及ぼす。 0.78
For example, Gaussian noise provides ℓ2 certificates. 例えば、ガウスノイズは l2 証明書を提供する。 0.64
The RS approach allows us to get non-trivial certificates for high-dimensional inputs, providing the first known family of theoretically provable defenses of deep neural network classifiers to adversarial attacks. rsアプローチは、高次元入力に対する非自明な証明書を得ることを可能にし、敵の攻撃に対するディープニューラルネットワーク分類器の理論的に証明可能な防御のファミリーを提供する。 0.56
Nevertheless, there still remain several real-world shortcomings. しかし、実際の欠点はいくつか残っている。 0.48
First, in order for the empirical probability mass to be accurately estimated, a large number of samples are necessary. 第一に、経験的確率質量を正確に推定するためには、多数のサンプルが必要である。 0.78
Second, the certified accuracy achieved via randomized smoothing (RS) is substantially lower than empirical accuracy achieved via heuristics such as adversarial training. 第二に、ランダム化平滑化(RS)によって達成される認証精度は、敵の訓練のようなヒューリスティックな手法によって達成される経験的精度よりもかなり低い。 0.50
Third, the addition of noise to the inputs often significantly degrades the performance of the network. 第3に、入力にノイズを加えるとネットワークの性能が著しく低下することが多い。 0.74
The last problem is particularly challenging, since it requires some care to handle. 最後の問題は特に難しい。 0.26
Typical RS methods (such as Salman et al [22] and Cohen et al [6]) propose noise-augmented training strategy to sidestep this problem. 典型的なRS手法(Salman et al [22] や Cohen et al [6] など)は、この問題を補うためにノイズ増強トレーニング戦略を提案する。 0.71
However, in practice we see that noise-augmented training comes with a price: the certified accuracies drop off significantly as the radius increases. しかし、実際には、ノイズ増強トレーニングには価格が伴うことが分かっています。
訳抜け防止モード: しかし、実際にはその騒音が見えます。 強化トレーニングには : 半径の増加に伴い, 認定精度は著しく低下する。
0.67
Several other approaches [40, 2, 11] propose improvements to prevent such a dramatic drop-off, but they involve careful model re-training with noise augmentation, often involving several heuristic parameters. 他のいくつかのアプローチ [40, 2, 11] は、このような劇的な落下を防止するために改善を提案するが、これらは、しばしばいくつかのヒューリスティックパラメータを含む、ノイズ増強を伴う慎重なモデル再訓練を含む。 0.56
How then can we get better certificates? では、どうやってより良い証明書を得るのか? 0.47
As a starting point, observe that any RS scheme involves two basic components: the base classifier f and the noise distribution P. Adding noise provides certified robustness, but decreases accuracy; resolving this tradeoff is the key. ベース分類器 f とノイズ分布 P の 2 つの基本成分が組み合わさっていて、ノイズが加わったことで信頼性は向上するが、精度は低下し、このトレードオフの解消が鍵となる。 0.80
Works such as [2, 25, 37] focus on P, and propose convolution with more sophisticated (sometimes even data-dependent) noise distributions. 例えば[2, 25, 37]はPに焦点を当て、より洗練された(時にはデータに依存した)ノイズ分布による畳み込みを提案する。 0.64
On the flip side, works such as [22, 40, 1, 11, 32, 13] focus on training better base classifiers f. 一方、[22, 40, 1, 11, 32, 13] のような作業は、より良いベース分類器 f の訓練に重点を置いている。 0.77
We pursue the latter approach in this paper. 本論文では後者のアプローチを追求する。 0.76
At the heart of our approach is a simple technique that is ubiquitous in machine learning inference: ensembling. 私たちのアプローチの核心は、機械学習推論においてユビキタスな単純なテクニックである。 0.67
Aggregating results from an ensemble of diverse classifiers acting on a given data point has long been used to improve 与えられたデータポイントに作用する多様な分類器の集合による結果の集約は、長年にわたって改善に使われてきた。
訳抜け防止モード: 与えられたデータポイントに作用する多様な分類器のアンサンブルからの集約結果 長い間 改善に使われてきました
0.71
2 2 0.42
英語(論文から抽出)日本語訳スコア
Figure 2: Smooth-Reduce Certification.Smooth -Reduce modifies the RS certification in two ways. 図2: Smooth-Reduce Certification.Smooth -ReduceはRS認証を2つの方法で修正する。 0.56
First, an input set is created to simulate an ensemble. まず、入力セットを作成してアンサンブルをシミュレートする。 0.62
In this case, we use patches sampled from the resized image. この場合、リサイズイメージからサンプリングされたパッチを使用します。 0.69
Following the CERTIFY subroutine from [6], noise is added to every element in the set. 6] からの CERTIFY サブルーチンに続いて、その集合のすべての要素にノイズが付加される。 0.73
Next, the counts of predicted classes are aggregated to estimate pA, the probability of the most probable class, cA. 次に、予測されたクラスの数を集計して、最も確率の高いクラスの確率であるpAを推定する。 0.68
The final step uses Eq 4 with pA to derive a certificate that holds with high probability. 最後のステップでは、Eq 4とpAを使用して、高い確率で保持される証明書を導出する。
訳抜け防止モード: 最後のステップでは、Eq 4とpAを使用する。 確率の高い証明書を 導き出します
0.75
classifier performance in standard (non-adversarial) inference settings. 標準(非逆)推論設定における分類器のパフォーマンス。 0.67
However, in practice, training large (and diverse) ensembles for deep networks can be non-trivial (and sometimes even prohibitively expensive). しかし、実際には、ディープネットワークのための大規模(かつ多様な)アンサンブルの訓練は、非自明(時には高価)である。 0.51
The difficulty compounds when noise augmentation and adversarial training are considered. 騒音増進と対向訓練を考慮した場合の難易度について考察した。 0.42
We overcome this difficulty by emulating an ensemble classifier by extracting a set of (large) patches from a given image, running a (single) base classifier on all these patches, and aggregating the results. この難しさを克服するために、与えられた画像から(大きな)パッチを抽出し、(単一の)ベース分類器を全てのパッチ上で実行し、結果を集約することで、アンサンブル分類器をエミュレートする。 0.70
This technique has also been successfully employed by a recent series of patch-level models [8, 29]. このテクニックは、最近のパッチレベルモデル [8, 29] でもうまく採用されている。 0.69
Specifically, we posit that small affine transformations of an image induce sufficient diversity leading to more robust performance. 具体的には、画像の小さなアフィン変換は十分な多様性をもたらし、より堅牢な性能をもたらすと仮定する。 0.56
Further, we also study two popular aggregation schemes for ensembling — max and mean aggregation — and demonstrate that both significantly outperform all existing RS approaches. さらに私たちは,センセンシングのための2つの一般的な集約スキーム – max と mean aggregate – を調査して,両者が既存の rs アプローチを大きく上回っていることを実証した。 0.58
Contributions. significantly outperforms existing RS methods. 貢献。 既存のrsメソッドを大幅に上回っている。 0.34
Our specific contributions are as follows: 具体的貢献は以下の通りである。 0.57
In this paper, we propose an adaptive, ensembling-based training-free smoothed classifier that 本稿では,適応型アンサンブル型学習自由なスムーズな分類器を提案する。 0.68
1. We present a modified smooth classifier that leverages an input set constructed by extracting patches of the 1. パッチを抽出して構築した入力セットを活用するスムーズな分類器を改良した。 0.68
input image, and achieves a higher certified radius using aggregation. 入力画像は、アグリゲーションを使用して高い認証半径を達成する。 0.59
2. We show that our certificates hold with high probability with intuitive extensions of the theoretical analysis by 2. 理論解析の直感的な拡張により,我々の証明書が高い確率で保持されることを示す。 0.74
Cohen et al [6] and Salman et al [22]. Cohen et al [6] and Salman et al [22] 0.38
3. We demonstrate significant improvements in certification performance for CIFAR-10 and ImageNet compared 3 CIFAR-10 と ImageNet の認証性能が大幅に向上したことを示す。 0.71
with several state-of-the-art randomized smoothing approaches. いくつかの最先端のランダム化スムースなアプローチで。 0.35
4. Finally, we extend our approach to provide certificates for video classifiers on UCF-101, therefore demonstrat- 4. 最後に,UCF-101にビデオ分類器の証明書を提供するためのアプローチを拡張した。 0.70
ing that our approach scales to high dimensional domains. 我々のアプローチは高次元領域にスケールする。 0.69
Techniques. Our approach consists of four steps: (1) We emulate a diverse set of inputs from a given (single) image or video input. テクニック。 提案手法は,(1)所定の(単一の)画像やビデオからの多様な入力セットをエミュレートする。
訳抜け防止モード: テクニック。 私たちのアプローチは4つのステップで構成されています 1) 与えられた(単一の)画像またはビデオ入力から様々な入力セットをエミュレートする。
0.69
For our image experiments, we simply sample overlapping contiguous patches. 画像実験では、重複する連続したパッチをサンプリングします。 0.62
For our video experiments, we sample overlapping subvideos from the original video stream. ビデオ実験では、元のビデオストリームから重複するサブビデオをサンプリングした。 0.66
(2) We then follow the standard randomized smoothing approach by creating n copies of the input set, and adding independent noise vectors to each element in all copies (3) We then estimate the predicted probability of each class for each copy of the input set, and take the average of the maximum estimated predicted probability for each copy. 2) 入力集合のn個のコピーを作成し,各要素に独立ノイズベクトルを付加することにより,標準的なランダム化平滑化手法に従う。(3) 入力集合の各コピーについて各クラスの予測確率を推定し,各コピーについて最大推定予測確率を推定する。 0.80
(4) Finally, we record certificates for the input using the expression in Corollary 1 below. (4) 最後に, 式を用いて入力の証明書を以下に記録する。 0.61
We explain each of these steps in detail in Section 3. それぞれのステップについて、セクション3で詳しく説明します。 0.72
3 3 0.42
英語(論文から抽出)日本語訳スコア
2 Related Work Certified Defenses. 2 関連作業 認証防衛。 0.68
Ever since deep classifiers have been found to be vulnerable to adversarial attacks [26, 3, 5], considerable efforts have been directed towards developing reliable defenses [19, 41, 33, 23, 39]. 深層分類器は敵の攻撃 [26, 3, 5] に弱いことが判明して以来,信頼できる防御策 (19, 41, 33, 23, 39] の開発に多大な努力が払われてきた。 0.81
The above approaches lack strong theoretical guarantees. 上記のアプローチには強い理論的保証がない。 0.62
Provable defenses (that provide certificates of correctness) fall into two major categories. 予防可能な防御(正当性の証明書を提供する)は2つの主要なカテゴリに分類される。 0.57
The first category involves establishing upper bounds on the perturbation radii for the inputs of each layer (using linear, quadratic, convex, or even mixed-integer programming) and propagating these bounds to achieve a certificate for an entire network. 第1のカテゴリは、各層の入力(線形、二次、凸、あるいは混合整数計画を用いて)に対する摂動半径の上界を確立し、これらの境界を伝播してネットワーク全体の証明書を達成することである。 0.78
These include works such as [35, 20, 21, 28, 14, 15, 4, 12, 34]. 35、20、21、21、28、14、15、14、12、34などの作品がある。 0.53
However, such approaches are computationally very expensive and do not scale at all to large, modern deep network classifiers. しかし、そのような手法は非常に高価であり、大規模で現代的なディープネットワーク分類器にはスケールしない。 0.63
Randomized Smoothing. ランダムなスムース。 0.70
The second category of provable defense involves some variation of randomized smoothing (RS), which advocate “smoothing” the outputs of non-linear, non-Lipschitz networks by their functional convolution with specially-chosen noise distributions. 証明可能な防御の第2のカテゴリは、非線型、非リプシッツネットワークの出力を、特殊にチョセンノイズ分布を持つ機能的畳み込みによって「スムーシング」することを提唱するランダム化平滑化(rs)のバリエーションである。 0.62
Early works such as [16, 6, 22] provide ℓ2 robustness certificates by adding Gaussian noise. 16, 6, 22] のような初期の作品はガウスノイズを加えることによって l2 堅牢性証明を提供する。 0.56
Subseqent works [27, 17] have presented certificates for the ℓ1 and Wasserstein metrics respectively using Laplacian smoothing. subseqent works [27, 17] はそれぞれラプラシアン平滑化を用いて l1 と wasserstein のメトリクスの証明書を提示した。 0.64
Yang et al [37] provide a general approach to selecting distributions for various classes of adversarial attacks; unfortunately, certificates other than the ℓ2-norm have Ω(d−1/2) dependence, leading to trivial certificates for high dimensional inputs. Yang et al [37] は敵攻撃の様々なクラスに対する分布を選択する一般的なアプローチを提供するが、残念ながら l2-ノルム以外の証明はΩ(d−1/2) 依存しており、高次元入力に対する自明な証明をもたらす。 0.62
On the practical side, the above RS methods still fall short of heuristic empirical defense methods when evaluated in terms of robust accuracy. 実用面では、ロバストな精度で評価した場合、上記のrs法はまだヒューリスティックな実証的防御法に欠ける。 0.54
Therefore, several works have propose modifications to the certification scheme to improve performance. そのため、性能向上のための認証制度の変更案がいくつか提案されている。 0.61
MACER [40] maximizes surrogates of the certified radius to train better certifiable models, while [2] finetune the variance of noise for each input data point. MACER[40]は、認証された半径のサロゲートを最大化し、より良い認証モデルのトレーニングを行い、[2]は入力データポイントごとにノイズの分散を微調整する。
訳抜け防止モード: MACER [40 ] は認定半径のサロゲートを最大化する より良い認証モデルの訓練をしました 一方 [ 2 ] は入力データポイントごとにノイズの分散を微調整します。
0.74
[13] uses an adversarial version of MixUp [42] to train models with better tradeoffs on accuracy and certifiable robustness. 13]は、mixup [42]の敵対的なバージョンを使用して、精度と検証可能な堅牢性に関するトレードオフを改善したモデルをトレーニングします。
訳抜け防止モード: [13 ] MixUp [42 ] 精度と確実な堅牢性で より良いトレードオフを持つモデルを訓練するのです
0.77
Notice, however, that all these approaches involve re-training large-scale models with different objectives and data augmentation schemes. しかし、これらのアプローチのすべてには、異なる目的とデータ拡張スキームで大規模モデルを再訓練することが含まれる。 0.60
Ensembled Defenses. Ensembling is one of the primary motivations for our Smooth-Reduce method. 防衛隊を編成。 ensemblingはsmooth-reduceメソッドの主な動機の1つです。 0.60
We discuss some recent relevant work in that context. この文脈における最近の研究について論じる。 0.49
Horvath et al [11] propose ensembling over diverse classifiers and show that this decreases variance of predictions, allowing better certificates. Horvath et al [11] は多様な分類器に対してアンサンブルを提案し、それが予測のばらつきを減少させ、より良い証明を可能にすることを示す。
訳抜け防止モード: Horvath et al [ 11 ] proposed ensembling over various classifiers これは予測のばらつきを減らし、より良い認証を可能にします。
0.79
Yang et al [38] prove that diversified gradients and large confidence margins are necessary and sufficient conditions for robust ensembles. Yang et al [38] は、多様化した勾配と大きな信頼率が、堅牢なアンサンブルに十分な条件であることを示した。
訳抜け防止モード: Yang et al [38 ] 多様な勾配と大きな信頼率が必要だ 頑丈なアンサンブルに十分な条件だ
0.67
Liu et al [18] propose a weighted ensemble of networks as the base classifier and demonstrate they provide better certificates. Liu et al [18]は、ネットワークの重み付けアンサンブルをベース分類器として提案し、それらがより良い証明書を提供することを示す。
訳抜け防止モード: Liu et al [18 ] は基底分類器としてネットワークの重み付けアンサンブルを提案する より良い証明書を 提供しています
0.74
While all these approaches rely on model-level ensembling, we emulate ensembles by using patching and basic linear operations. これらのアプローチはすべてモデルレベルのアンサンブルに依存しているが、パッチと基本線形演算を用いてアンサンブルをエミュレートする。
訳抜け防止モード: これらのアプローチはすべてモデルに依存しています。 パッチと基本線形演算を用いて アンサンブルをエミュレートします
0.62
This allows us to ensure diversity as well as improved base classifier performance. これにより、多様性を確保し、ベース分類器のパフォーマンスも向上します。 0.57
We also demonstrate that our approach outperforms ensemble smoothing by a large margin. また,提案手法がアンサンブルスムージングよりも大きなマージンで優れていることを示す。 0.50
3 The Smooth-Reduce Framework Preliminaries: Let x ∈ Rd be a given input. 3 Smooth-Reduce Framework 予備機能: x ∈ Rd を与えられた入力とする。 0.79
For ease of exposition, we suppose that x is an image (and extend the framework to video inputs later below). 説明の容易さのため、x はイメージ(および後述のビデオ入力にフレームワークを拡張する)であると仮定する。 0.72
Let f : Rd → [0, 1]c be any classifier that takes the input and assigns each class label c with probability fc. f : Rd → [0, 1]c を入力を受け取り、各クラスラベル c に確率 fc を割り当てる任意の分類器とする。 0.79
Cohen et al [6] propose performing inference using the “smooth” classifier: Cohen et al [6] は "smooth" 分類器を使って推論を行う。 0.73
ˆf = arg max sf = arg max 0.30
c Ez∼N (0,σ2I) [fc(x + z)] , c エズンN (0,σ2I) [fc(x + z)] , 0.41
(1) which enjoys the benefits of guarantees of correctness. (1) 正しさの保証の利点を享受しています 0.56
To calculate these guarantees, the standard certification approach estimates the (most probable) class cA ∈ [C] and the second most probable class cB ∈ [C], as predicted by ˆf. これらの保証を計算するために、標準認定アプローチは、(最も可能性の高い)クラス ca ∈ [c] と2番目に可能性の高いクラス cb ∈ [c] を推定する。 0.75
It also estimates upper and lower bounds (respectively), pA, pB, on the corresponding class probabilities. また、対応するクラス確率に基づいて上と下の境界(参照)、pA、pBを推定する。 0.75
To do so, we create n0 copies of the input, add n0 i.i.d. Gaussian noise vectors sampled from N (0, σ2) and estimate pA. そのため、入力の n0 コピーを作成し、N (0, σ2) からサンプリングされたガウスノイズベクトルを n0 に追加し、pA を推定する。 0.80
The certified radius is then derived using the relation: 認定された半径は、以下の関係を用いて導出される。 0.55
(cid:0)Φ−1(pA) − Φ−1(pB)(cid:1) , (cid:0) =−1(pA) − s−1(pB)(cid:1) である。 0.64
σ 2 R = (2) where Φ−1(·) is the inverse Gaussian CDF (see [6, 22] for a rigorous derivation). σ 2 R = 2) は逆ガウス CDF である(厳密な導出については [6, 22] を参照)。 0.50
Notice that the above procedure makes no assumptions on the base classifier f, and can be used to achieve a certified radius for any model (including deep neural network classifiers). 上記の手順は基底分類器 f を仮定せず、任意のモデル(ディープニューラルネットワーク分類器を含む)の認定半径を達成するのに使うことができる。 0.75
According to Eq 2, in order to obtain a higher radius of certification, we can increase either the variance of the noise or the estimated probability of the true class. Eq 2 によれば、より高い認証半径を得るためには、ノイズの分散または真のクラスの推定確率を増大させることができる。 0.71
However, adding large amounts of noise to the input leads to degradation in the performance of ˆf (compared to f), and could give poor classification performance. しかし、入力に大量のノイズを加えると、(fと比較して)fの性能が低下し、分類性能が低下する可能性がある。 0.73
Indeed, the majority of works focus on training deep classifiers f that are robust to noisy inputs. 実際、多くの作品はノイズの多い入力に対して頑健な深層分類器fの訓練に焦点を当てている。 0.63
Instead of pursuing this path, we focus on obtaining an improved estimate of pA. この経路を追求する代わりに、我々はpAの予測を改善することに集中する。 0.66
4 4 0.42
英語(論文から抽出)日本語訳スコア
3.1 Smooth-Reduce 3.1 Smooth-Reduce 0.25
A general approach to obtaining high-quality predictions is via ensembling. 高品質な予測を得るための一般的なアプローチは、アンサンブルである。 0.49
Using an ensemble of classifiers tends to decrease the variance of the predicted probabilities while improving accuracy [10, P. 256]. 分類器のアンサンブルを用いると予測確率のばらつきが減少し,精度が向上する [10, p. 256]。 0.80
However, deep networks are very expensive to train, and training a large (and diverse) set of deep classifiers for a given training dataset can be prohibitive. しかし、ディープネットワークのトレーニングは非常に高価であり、与えられたトレーニングデータセットに対して、大きな(そして多様な)ディープ分類器セットをトレーニングすることは禁じられる。
訳抜け防止モード: しかし、深層ネットワークは訓練に非常に費用がかかる。 そして、与えられたトレーニングデータセットに対して、大きな(そして多様な)深層分類器セットをトレーニングすることは禁じることができる。
0.66
This challenge is exacerbated in RS approaches which tend to require re-training models with noise augmentation. この課題は、ノイズ増強を伴う再学習モデルを必要とするRSアプローチでさらに悪化する。 0.63
Instead, we draw inspiration from the folklore practice of using cropping during inference to improve performance, as well as recent empirical observations regarding the considerable effectiveness of patch-based classification [8, 29]. その代わりに、推論中に作物を収穫して性能を向上する民間伝承や、パッチベースの分類の有効性に関する最近の実証的な観察からインスピレーションを得ている [8, 29]。 0.68
We propose patching as a mechanism to create a diverse set of (sub)images from a single input image; this allows us to emulate an ensemble while using a single base classifier. 我々は,単一入力画像から(サブ)画像の多様なセットを作成するためのメカニズムとしてパッチを適用することを提案する。
訳抜け防止モード: 単一入力画像から多様な(サブ)イメージのセットを作成するメカニズムとしてパッチを提案する。 これにより、単一ベース分類器を使用してアンサンブルをエミュレートできる。
0.76
Our method works as follows. 我々の方法は次のとおりである。 0.60
We create a set of inputs, X = {x1, x2 . . . xk} from a given input (base) image, x, by using sampling (uniformly at random) sub-images with d′ total pixels (with d′ < d) and upsampling each sub-image to the original resolution (with d pixels). 与えられた入力(基底)画像から X = {x1, x2 . . . xk} という一連の入力を作成し、d′全画素(d′ < d)でサンプリング(ランダムに)されたサブイメージをサンプリングし、各サブイメージを元の解像度(d′ < d)にアップサンプリングする。 0.81
All base images and patches are assumed to be square for simplicity. すべてのベースイメージとパッチは、シンプルさのために正方形と仮定される。 0.63
We then define a modified version of the smooth classifier from Eq 1 that we call the “Smooth-Reduce” classifier: 次に、"smooth-reduce"分類器と呼ばれるeq 1からsmooth分類器の修正バージョンを定義します。 0.73
Ez∼N (0,σ2I) AGGREGATEk エジン(0,σ2i)アグリゲート 0.57
¯f (x) = arg maxc f (x) = arg maxc 0.33
(3) i=1 is a routine that reduces (combines) the predicted logits for inputs enumerated over the set X . (3) i=1 は集合 X 上に列挙された入力に対する予測ロジット(組合せ)を減らすルーチンである。 0.85
where AGGREGATEk For our approach, we consider two specific aggregation functions, max and mean over the predicted logits. ここで、AGGREGATEk アプローチでは、予測ロジットに対して最大と平均の2つの特定の集約関数を考える。 0.69
The Smooth-Reduce classifier, ¯f, is a simple modification of the standard RS approach. Smooth-Reduce 分類器 (smooth-Reduce classifier) は標準 RS アプローチの単純な修正である。 0.71
However, we find that it improves over ˆf in two important aspects. しかし、2つの重要な側面において、f よりも改善されていることが分かる。 0.53
Firstly, since it emulates an ensemble of classifiers, the variance of the estimated probability pA is reduced, leading to sharper bounds on pA. (For a more in-depth discussion, see also the Appendix and [11]) Further, we find that it also increases the estimated probability values pA themselves; both aggregation options in Smooth-Reduce lead to more confident classification probabilities than the base classifier f. まず、分類器のアンサンブルをエミュレートするため、推定確率 pA の分散は減少し、pA 上のよりシャープな境界となる(より詳細な議論では、Appendix と [11] も参照)。
訳抜け防止モード: まず、分類器のアンサンブルをエミュレートするため、推定確率pAのばらつきを低減させる。 pA のよりシャープなバウンダリに導く ( 詳細については - ディープな議論) また、Appendix と [ 11 ] ) さらに、推定確率値 pA 自体も増加し、Smooth におけるどちらのアグリゲーションオプションも、ベース分類器 f よりも信頼性の高い分類確率をもたらす。
0.81
For this to hold, we have to ensure that the patches are large enough (so that meaningful classification is achieved), and that we extract sufficiently many patches from the input image (so that we get boosts via aggregation). これを維持するためには、パッチが十分に大きい(意味のある分類が達成される)ことと、入力イメージから十分な数のパッチを抽出する必要がある(アグリゲーションによって強化される)。 0.70
i=1(fc(xi + z)) , i=1(fc(xi + z)) , 1.00
3.2 Theoretical Analysis To derive certificates of performance for our proposed Smooth-Reduce classifier ¯f, we need to rethink Eq 2 when used with the new class probabilities. 3.2 理論解析 提案したSmooth-Reduce分類器の性能証明書を導出するためには、新しいクラス確率を用いてEq 2を再考する必要がある。 0.77
We first restate: Theorem 1 (taken from [6]). 最初に再開する: Theorem 1 ([6]から取り除く)。 0.65
Let cA, cB ∈ [C] be the most likely and second-most likely classes, and pA, pB ∈ [0, 1] be the probability estimates associated with cA and cB. cA, cB ∈ [C] を最も可能性が高く、最も可能性の高い類とし、pA, pB ∈ [0, 1] を cA と cB に関連する確率推定とする。 0.89
If Pz (f (x + z) = cA) ≥ p もしも Pz (f (x + z) = cA) ≥ p 0.49
≥ ¯pB ≥ max c̸=cA ≥ ,pb ≥ max (c)=ca である。 0.40
A Pz (f (x + z) = c) , A Pz (f (x + z) = c) , 0.42
then ˆf (x + δ) = cA for all vectors δ satisfying ∥δ∥2 ≤ R, where すると、すべてのベクトル δ に対して sf (x + δ) = cA が sff (x + δ) ≤ R を満たす。 0.65
(cid:16) (cid:17) (出典:16) (cid:17) 0.53
R = σz 2 Φ−1(p R = σz 2 φ−1(p) である。 0.40
A ) − Φ−1(¯pB) A ) − φ−1(-pb) である。 0.48
. The above derivation for the certified radius for ˆf does not assume anything about the base classifier. . f の認定半径の上記の導出は、基底分類器については何も仮定していない。 0.52
We can therefore plug in our modified base classifier, AGGREGATEk i=1f (xi) and similarly prove that the radius will hold with high probability. したがって、修正された基底分類器 AGGREGATEk i=1f (xi) を差し込み、同様に半径が高い確率で成り立つことを証明できる。 0.72
Corollary 1 (Smooth-Reduce certificates). corollary 1 (smooth-reduce certificates) の略。 0.61
Let cA ∈ [C], and pA ′ ∈ [0, 1] be the probability estimates from the Smooth-Reduce classifier, ¯f. cA ∈ [C] と pA ′ ∈ [0, 1] を、Smooth-Reduce 分類器 (smooth-Reduce) からの確率推定とする。 0.83
If Pz (cid:0) ¯f (x + z) = cA Pz の場合 (cid:0) >f (x + z) = cA 0.62
′ ≥ pB ′, pB ′ ≥ pB ′,pB。 0.41
Pz ′ ≥ max c̸=cA Pz ′ ≥ max c\=ca 0.39
then ¯f (x + δ) = cA for all δ satisfying ∥δ∥2 ≤ R, where すると、x + δ) = ca となるすべての δ に対し、x + δ 2 ≤ r を満たす。 0.67
(cid:0) ¯f (x + z) = c(cid:1) , ′)(cid:1) . (cid:0) (x + z) = c(cid:1) , ′)(cid:1) である。 0.82
R = ′) − Φ−1(pB R = ′) − s−1(pB) 0.41
(4) (cid:1) ≥ pA (cid:0)Φ−1(pA (4) (cid:1) ≥ pA (cid:0) =−1(pA) 0.39
σz 2 Following standard practice in evaluating RS algorithms, we modify the PREDICT and CERTIFY subroutines as in [6]. σz 2 RSアルゴリズムの評価の標準的な実践に続いて,[6] のように PreDICT と CERTIFY のサブルーチンを変更する。 0.61
For the prediction step, we create n copies of our input set. 予測ステップでは、入力セットのn個のコピーを作成します。 0.64
We then add independent noise for each element, and take the aggregate (maximum or average) for each class over all copies. 次に各要素に独立したノイズを追加し、すべてのコピーに対して各クラスの集約(最大または平均)を取ります。 0.77
The classifier either returns the most likely class 分類器は最も可能性の高いクラスを返すか 0.60
5 5 0.42
英語(論文から抽出)日本語訳スコア
Algorithm 1 Smooth-Reduce Certification Algorithm アルゴリズム1 Smooth-Reduce Certification Algorithm 0.83
# certify the robustness of ¯f around x function CERTIFY(f, σ, x, n0, n, α) # x 関数 CERTIFY(f, σ, x, n0, n, α) の周りの f のロバスト性を証明する 0.86
{xi} ← PATCHIFY(x, K) counts0 ←SMOOTHREDUCEUNDERNOI SE(f,{xi}, n0, σ) ˆcA ← top index in counts0 counts ← SMOOTHREDUCEUNDERNOI SE(f,{xi}, n, σ) pA ← LOWERCONFBOUND(count s[ˆcA], n, 1 − α) 2 return prediction ˆcA and radius σ Φ−1(pA) if pA > 1 else return ABSTAIN x, k) counts0 と patchify(x, k) counts0 とsmoothreduceundernoi se(f,{xi}, n0, σ) と top index in counts0 counts と smoothreduceundernoi se(f,{xi}, n, σ) pa と lowerconfbound(count s[\ca], n, 1 − α) 2 return prediction sca and radius σ φ−1(pa) if pa > 1 else return abstain if pa > 1 else return abstain
訳抜け防止モード: { xi } ] patchify(x, k ) counts0 ]smoothreduceundernoi se(f,{xi }, n0, σ ) は、counts0 における top index in counts 0 counts は smoothreduceundernoi se(f,{xi) である。 }, n, σ ) pa がlowerconfbound(count s[\ca ], n, である。 1 − α ) 2 の戻り予測 σ φ−1(pa ) と半径 σ φ−1(pa ) が成立する。
0.69
# Sampling with Smooth-Reduce classifiers function SMOOTHREDUCEUNDERNOI SE(f, {xi}, n, σ) # smooth-reduce 分類子によるサンプリング関数 smoothreduceundernoi se(f, {xi}, n, σ) 0.78
counts ← [0, 0, ...C times] for j = 1 : n j = 1 : n に対して > [0, 0, ...C 回] を数える 0.78
{zi,j} → Sample from N (0, σ2I) {ˆyi,j} = {f (xi + zi,j)} ˆyj = REDUCE({ˆyi,j}) # Reduce over patches counts[arg maxc∈C ˆyj]+ = 1 {zi,j} → サンプル n (0, σ2i) {iyi,j} = {f (xi + zi,j)} からのサンプル ({yi,j}) = reduce({yi,j}) # reduce over patch counts[arg maxcservletc ]yj]+ = 1 0.89
return counts over the aggregated logits over the copies, or abstains if the confidence of the probability estimate is low. カウントを返します 集計されたロジットをコピーに上乗せするか、あるいは確率推定の信頼度が低い場合は放棄する。 0.60
We repeat the same modifications for the certification process to estimate lower bounds for the probability of the correct class. 我々は、認定プロセスの同じ修正を繰り返して、正しいクラスの確率の低い境界を推定する。 0.70
Alg. 1 shows a pseudo-code representation of the certification algorithm. アルグ 1は認証アルゴリズムの擬似コード表現を示す。 0.58
We also show a diagrammatic representation of our approach in Fig 2. また、図2における我々のアプローチの図式表現を示す。 0.80
For the Smooth-Max routine, we also scale the predicted logits using softmax over the classes for A ≥ 1/2 holds with probability larger than 1 − α. Smooth-Max ルーチンに対しては、A ≥ 1/2 のクラスにソフトマックスを用いて予測ロジットを 1 − α 以上の確率でスケールする。 0.81
each copy. Similar to [6], our classifier abstains unless the event, p′ Notice that since we are estimating the lower bound on pA, the robustness guarantee holds in high probability. 各コピー。 6] と同様に、我々の分類器は、pa 上の下限を推定しているので、ロバスト性保証は高い確率で保たれていることに注意してください。 0.66
However, we can leverage the benefits of ensembling in each step to improve the success probability. しかし、成功確率を改善するために、各ステップでアンサンブルの利点を利用することができます。 0.60
For example, consider that there exists an adversarial example δ for any sub-classifier fi such that ∥δ∥2 ≤ R. Suppose the probability of such an event occurring can be upper bounded by α. 例えば、任意のサブクラス化 fi に対して δ ≤ R となる逆例 δ が存在することを考えれば、そのような事象が起こる確率は α によって上界化できる。 0.79
Then, the probability of δ to be an adversarial example for ¯f is at most α/k; see the appendix for a detailed discussion. すると δ の正反対例となる確率は、少なくとも α/k である(詳細は付録を参照のこと)。
訳抜け防止モード: そして δ の確率 to be a adversarial example―a exversarial example α / k である。 詳細な議論のために 付録を見てください
0.77
Theoretically, this allows us to achieve the same performance as ˆf with k times fewer samples. 理論的には、これは k 倍少ないサンプルで sf と同じ性能を達成することができる。 0.62
However, in practice, this may lead to a high abstention rate if the base classifier f is itself not robust enough to noise. しかし実際には、ベース分類器 f がノイズに十分頑丈でない場合、これは高い吸収率につながる可能性がある。 0.73
We now show that Smooth-Max classifiers are inherently “harder” to attack than smooth classifiers. 現在、Smooth-Max分類器はスムーズな分類器よりも本質的に攻撃が難しいことが示されています。 0.54
For this, we adapt a proof technique from Salman et al [22] to get the following result. これに対し、Salmanらによる証明手法[22]を適用し、以下の結果を得る。 0.59
Theorem 2. Let ¯f and ˆf be Smooth-Max and smooth classifiers as defined above. 定理2。 Smooth-Max と Smooth-Max を Smooth-Max とし、上述のスムーズな分類器とする。 0.55
Let R ¯f and R ˆf be their corresponding certified radii derived using Alg. R と R とを、Alg を用いて導出される対応する認定ラジイとする。 0.58
1. Assuming that the correct class is cA and the |X| is high enough, then, R ¯f ≥ R ˆf . 1. 正しいクラスが cA で |X| が十分高いと仮定すると、R > f ≥ R >f となる。 0.63
The proof relies on the Smooth-Max algorithm selecting the patch with highest probability at every step. この証明は、全てのステップで高い確率でパッチを選択するSmooth-Maxアルゴリズムに依存している。 0.68
We then use the monotonicity of Φ−1 to finish the argument. 次に、引数を終わらせるために φ−1 の単調性を用いる。 0.56
We provide a detailed proof in the supplement. 私たちはサプリメントに詳細な証拠を提供します。 0.55
Smooth-Max versus Smooth-Mean. スムースマックス対スムース平均。 0.53
We now reflect upon the two flavors of Smooth-Reduce. Smooth-Reduceの2つのフレーバーを反映しています。 0.59
By construction, if the base classifier succeeds on patches then Smooth-Max should intuitively perform at least as well than standard randomized smoothing. 構成上、ベース分類器がパッチで成功すれば、Smooth-Maxは少なくとも通常のランダム化平滑化よりも直感的に実行すべきである。 0.63
During inference, the Smooth-Max classifier picks the best of possible patches in the input set. 推論中、smooth-max分類器は入力セットの可能な最善のパッチを選択する。 0.71
Therefore, in expectation, we hope that the Smooth-Max classifier will be more robust. したがって、Smooth-Max分類器がより堅牢になることを期待する。 0.76
The Smooth-Mean classifier, on the other hand, improves predictions using averaging to reduce the variance. 一方、smooth-mean分類器は平均化を用いた予測を改善し、分散を減少させる。 0.69
Intuitively, patches that are classified with low confidence are countered by patches with very high confidence. 直感的には、信頼度が低いパッチは、非常に高いパッチによって対処される。 0.52
Our observation is that the Smooth-Mean classifier abstains less frequently as compared to Smooth-Max and base RS classifiers. 我々の観察では,Smooth-Mean分類器はSmooth-MaxやベースRS分類器に比べて頻度が低い。 0.70
This also showcases one of the limitations of Smooth-Max classifiers: if the base classifier, f is very robust to noise, then a bad patch can consistently be chosen leading to the Smooth-Max classifier abstaining more often. これはまた、Smooth-Max分類器の制限の1つを示す: 基本分類器 f がノイズに対して非常に堅牢であれば、悪いパッチが一貫して選択され、Smooth-Max分類器はより頻繁に吸収される。 0.67
In such a case, the Smooth-Mean classifier rectifies this by not relying on a single patch, leading to fewer abstentions. そのような場合、smooth-mean分類器は単一のパッチに頼らずにこれを修正し、禁忌を少なくする。 0.58
We also see evidence of this behavior in our results as discussed below. この行動の証拠は、以下の結果にも示されています。 0.64
6 6 0.43
英語(論文から抽出)日本語訳スコア
4 Experiments and Results 4.1 Certificates for Image Classifiers 4 実験と結果 4.1 画像分類用証明書 0.76
We evaluate our approach by certifying classifiers trained on CIFAR-10 and ImageNet. CIFAR-10 と ImageNet で訓練された分類器を認証することで,我々のアプローチを評価する。 0.55
To meaasure the performance, we consider three metrics: (1) The approximate certified accuracy with respect to the radius, (2) Average Certified Radius (ACR), and (3) the abstention rate. 性能を計測するために,(1)半径に対する近似認定精度,(2)平均認定半径(acr),(3)棄却率の3つの指標を検討した。
訳抜け防止モード: パフォーマンスを測るために、 3つの指標について考察する: (1 )半径に関する近似的認証精度。 (2)平均認証基数 (ACR) , (3) 禁忌率 。
0.69
We define average certified radius as in [40], where for each (xi, yi) in the 1[ ¯f (xi) = yi]Ri. 平均認定半径は [40] で定義し、各 (xi, yi) に対して 1[ yf (xi) = yi]Ri となる。 0.72
The test set, Dtest, and the corresponding certified radius, Ri, we calculate the ACR as abstention rate is defined as the fraction of abstentions for the given test set. テストセット、Dtestおよびそれに対応する認定半径、Riは、所定のテストセットに対する禁断率の分数として、ACRを禁断率として算出する。 0.66
We show that our approach improves upon all the metrics over other randomized smoothing methods. 私たちのアプローチは、他のランダム化平滑化メソッドよりも、すべてのメトリクスを改善します。 0.60
Setup: In order to test our approach, we leverage the base classifiers trained in [22] for CIFAR-10 and ImageNet. セットアップ: アプローチをテストするために、CIFAR-10とImageNetのために[22]でトレーニングされたベース分類器を活用します。 0.70
The base classifiers have been adversarially trained to be robust to varying Gaussian distributions as well as smooth adversarial attacks. ベース分類器は、様々なガウス分布や滑らかな逆襲に対して頑健であるように、敵対的に訓練されている。
訳抜け防止モード: 基本分類器は反対に訓練されている 様々なガウス分布と スムーズな敵攻撃に 耐えられるように
0.72
We use the models with the highest reported performance for each value of the variance, σ. 分散のそれぞれの値、σに対して最も報告された性能を持つモデルを使用します。 0.69
Further, we use n0 = 100 samples for prediction, and n = 100, 000 for certifying CIFAR-10, and similarly n0 = 100, n = 100, 000 for Imagenet. さらに,予測にはn0 = 100サンプル,cifar-10の証明にはn = 100,000,imagenetではn0 = 100,n = 100,000サンプルを用いる。 0.80
We choose the best reported models in [40, 2] and [11] for comparisons with the same setting unless otherwise stated. 我々は、[40, 2] と [11] で報告された最良のモデルを同じ設定と比較するために選択する。 0.81
We retrained models for MACER [40] for CIFAR-10 and Imagenet. 我々は CIFAR-10 と Imagenet のMACER [40] のモデルを再訓練した。 0.68
However, for others, we used reported numbers as the code and models were not available at the time of publication. しかし、他の人にとっては、公開時点でコードとモデルが利用できなかったため、報告された数字を使用した。 0.61
Additional details are available in the appendix and the accompanying supplementary material. 追加の詳細は付録と付属の補足資料で確認できる。 0.64
(cid:80) 1|Dtest| (cid:80) 1|dtest| 0.42
(xi,yi Base Smooth Classifier (xi,yi) ベーススムース分類器 0.61
DDRS Smooth-max classifier Smooth-mean classifier DDRS Smooth-max分類器 Smooth-mean分類器 0.45
MACER Ensemble smoothing メイカー アンサンブル平滑化 0.50
Smooth-max MACER Smooth-mean MACER Smooth-max Smooth-mean MACER 0.35
σ = 0.25 1 σ = 0.25 1 0.41
0.8 0.6 0.4 0.8 0.6 0.4 0.39
0.2 0 . c c A d e fi 0.2 0 . c c A d e fi 0.39
i t r e C . I t r e C . 0.42
p p A p p a である。 0.54
1 0.8 0.6 0.4 1 0.8 0.6 0.4 0.40
0.2 0 σ = 0.5 0.2 0 σ = 0.5 0.37
1 0.8 0.6 0.4 1 0.8 0.6 0.4 0.40
0.2 0 σ = 1.00 0.2 0 σ = 1.00 0.37
0 0.2 0.4 0.6 0.8 1 1.2 0 0.2 0.4 0.6 0.8 1 1.2 0.26
Certified Radius 0 0.5 1.5 Certified Radius 認定半径 0 0.5 1.5 認定半径 0.56
1 2 0 1 3 Certified Radius 1 2 0 1-3 認定半径 0.50
2 4 Figure 3: Certified Accuracies for Cifar-10.Smooth-Max classifiers provide better certificates as compared to other approaches. 2 4 図3: Cifar-10.Smooth-Max 分類器は、他の手法と比較してより良い認証を提供する。 0.48
For the same number of copies of the input set, we see that Smooth-Reduce outperforms both in terms of certified radius and also abstains less frequently than all other approaches. 入力集合の同じ数のコピーに対して、Smooth-Reduce は証明された半径の両方で性能が良く、また他のすべてのアプローチよりも頻繁に吸収される。 0.69
Additionally, Smooth-Reduce can be effortlessly integrated with other improvements in RS (for example, MACER [40]) without any retraining to achieve improved certificates. さらに、Smooth-Reduceは、改善された証明書を達成するために再トレーニングすることなく、RSの他の改善(MACER [40])と努力的に統合することができる。 0.61
Results on CIFAR-10: For CIFAR-10, we use the pretrained Resnet-110 from [22]. CIFAR-10の結果: CIFAR-10では[22]から事前訓練されたResnet-110を使用する。 0.66
Since the inputs are required to be 32×32 images, we resize each input image to be 36×36 and sample 25 patches of the size 32×32 using either a random or uniform sampling process. 入力は32×32画像でなければならないため、各入力画像を36×36にリサイズし、ランダムまたは均一なサンプリングプロセスを用いて、32×32サイズのパッチ25個をサンプリングする。 0.66
We certify the first 500 CIFAR-10 test images with both variants of our Smooth-Reduce algorithm for σ = 0.25, 0.5, 1.0. σ = 0.25, 0.5, 1.0 に対して,Smooth-Reduce アルゴリズムの両変種を併用した最初の500 CIFAR-10 テスト画像の認証を行う。 0.61
Certificates for a larger sample of the dataset are also available in the Appendix. データセットのより大きなサンプルの証明書も付録で利用可能である。 0.71
Note that we use the corresponding adversarially trained noise models from [22] as our base models. ベースモデルとして,[22]からの逆向きに訓練された雑音モデルを用いることに注意。 0.77
Fig 3 shows results our experiments. fig 3実験結果を示す。 0.68
We also compare Smooth-Reduce with standard randomized smoothing [6, 22], DDRS [2], MACER [40] and Ensemble smoothing [11]. また、Smooth-Reduce と標準的なランダムな平滑化 [6, 22], DDRS [2], MACER [40], Ensemble smoothing [11] を比較する。 0.87
We demonstrate that the Smooth-Mean and Smooth-Max algorithms outperform all other approaches by a significant margin in terms of certified accuracy. 我々は,Smooth-MeanアルゴリズムとSmooth-Maxアルゴリズムが,認証精度の点で他のすべての手法よりも優れていることを示す。 0.69
Further, the average certified radius for Smooth-Mean and Smooth-Max exceed that of other approaches by at least 25% and 14% respectively. さらに、Smooth-MeanとSmooth-Maxの平均認定半径は、他のアプローチの半径よりも25%以上、14%以上大きい。 0.71
We also see that the improvements increase in magnitude as the noise variance increases. また,ノイズのばらつきが増大するにつれて,改善が大きくなることも確認した。 0.69
Finally, also note that, we are also successful in reducing abstention rates. 最後に、私たちは禁忌率の低減にも成功しています。 0.55
Table 1 shows the average certified radii and abstention rates for the various certification algorithms. 表1は、各種認証アルゴリズムの平均認定率と棄権率を示す。 0.74
Also see that Smooth-Mean classifiers tend to abstain far less often as compared to Smooth-Max classifiers. また、Smooth-Mean分類器は、Smooth-Max分類器に比べてはるかに小さくなる傾向にある。 0.64
We also study the effect of confidence calibration by ensuring both SmoothAdv and Smooth-Reduce classifiers see the same number of overall patches. また,smoothadvとsmooth-reduceの2つの分類器が同じパッチ数を見ることによって,信頼度校正の効果を検証した。 0.58
To ensure fair comparison, we run SmoothAdv certification with N = 100k and α = 0.001 and Smooth-Reduce with N = 10, 000, k = 10, and use α to be 0.01 for each sub-classifier. 公平な比較をするために、N = 100k で SmoothAdv 認証を実行し、N = 10, 000, k = 10 で Smooth-Reduce を行い、各部分分類器に対して α を 0.01 とする。 0.85
Fig 5(b) shows that under the same number of samples, Smooth-Reduce is able to certify larger radii while improving the certified accuracy. fig 5(b) は、同じ数のサンプルで、smooth-reduce は認定精度を高めながらより大きな radii を証明できることを示した。 0.73
7 7 0.42
英語(論文から抽出)日本語訳スコア
Table 1: Results for CIFAR-10.Average Certified Radii and Abstention rates for CIFAR-10. 表1: CIFAR-10. CIFAR-10の平均放射率と吸収率 0.80
The best performer is bolded and the second best is italicized. ベストパフォーマーは大胆で、2番目のベストはイタリックです。 0.61
Results with a ∗ are from reported results in the publication. ∗ の結果は、出版物で報告された結果から得られる。 0.74
Algorithm σ Smooth-Max (Ours) Smooth-Mean (Ours) アルゴリズム σ Smooth-Max (Ours) Smooth-Mean (Ours) 0.51
Smooth-Max Macer (Ours) Smooth-Mean Macer (Ours) Smooth-Max Macer (Ours) Smooth-Mean Macer (Ours) 0.43
Standard RS [6, 22] 標準RS[6, 22] 0.38
MACER [40] DDRS [2] MACER[40] DDRS[2] 0.41
Ensemble RS∗ [11] RS∗[11]をアンサンブルする 0.66
ACR ↑ 0.5 1.269 1.426 1.209 1.462 0.899 0.682 0.942 0.756 ACR ↑ 0.5 1.269 1.426 1.209 1.462 0.899 0.682 0.942 0.756 0.24
0.25 0.713 0.759 0.701 0.754 0.605 0.517 0.678 0.583 0.25 0.713 0.759 0.701 0.754 0.605 0.517 0.678 0.583 0.21
Abst. Rate ↓ アブスト レート...? 0.26
1.0 2.04 2.665 1.910 2.736 1.185 0.767 1.185 0.788 1.0 2.04 2.665 1.910 2.736 1.185 0.767 1.185 0.788 0.21
0.25 0.017 0.005 0.018 0.005 0.039 0.206 0.048 0.25 0.017 0.005 0.018 0.005 0.039 0.206 0.048 0.21
- 0.5 0.047 0.046 0.058 0.0136 0.1099 0.366 0.122 - 0.5 0.047 0.046 0.058 0.0136 0.1099 0.366 0.122 0.32
- 1.0 0.1064 0.030 0.110 0.020 0.2582 0.576 0.244 - 1.0 0.1064 0.030 0.110 0.020 0.2582 0.576 0.244 0.31
- Table 2: Results for Imagenet.Average Certified Radius and Abstention rates for ImageNet. - 表2: Imagenet の平均放射率と画像ネットの吸収率 0.50
The best performer is bolded and the second best is italicized. ベストパフォーマーは大胆で、2番目のベストはイタリックです。 0.61
Results with a ∗ are reported results in the publication. ∗ による結果が出版物に報告されている。 0.76
Algorithm σ Smooth-Max (Ours) Smooth-Mean (Ours) Standard RS [6, 22] Ensemble RS∗ [11] アルゴリズム σ Smooth-Max (Ours) Smooth-Mean (Ours) Standard RS [6, 22] Ensemble RS∗ [11] 0.54
MACER∗ [40] ACR ↑ 0.5 1.453 1.513 1.327 0.831 0.868 メイカー*[40] ACR ↑ 0.5 1.453 1.513 1.327 0.831 0.868 0.43
0.25 0.767 0.786 0.729 0.544 0.545 0.25 0.767 0.786 0.729 0.544 0.545 0.22
Abst. Rate ↓ アブスト レート...? 0.26
1.0 2.611 2.931 2.204 1.008 1.108 1.0 2.611 2.931 2.204 1.008 1.108 0.22
0.25 0.008 0.002 0.02 0.25 0.008 0.002 0.02 0.23
- 0.5 0.038 0.024 0.098 - 0.5 0.038 0.024 0.098 0.33
- 1.0 0.108 0.048 0.22 - 1.0 0.108 0.048 0.22 0.33
- Results on Imagenet: We also test our approach on 500 randomly chosen images from Imagenet to certify a pretrained Resnet-20 model from [22]. - Imagenetの結果:Imagenetから500個のランダムに選択された画像に対して,[22]から事前訓練されたResnet-20モデルを認証するアプローチも行った。 0.55
We resize our inputs to 256 × 256 and sample 224 × 224 sub-patches. 入力を256×256にリサイズし、224×224サブパッチをサンプリングします。 0.72
We use 4, 8, and 16 patches for our approach with n0 = 100 and n = 100k for certification. 私たちは、n0 = 100とn = 100kのアプローチに4、8、16のパッチを使用します。 0.77
Smooth-Reduce improves upon standard randomized smoothing as shown in Fig 4. Smooth-Reduceは、図4に示すように、標準的なランダム化平滑化を改善する。 0.50
Specifically, Smooth-Mean performs the best, having 32.9% relatively higher average certified radius as compared to standard randomized smoothing. 特に、smooth-meanは、標準のランダムな平滑化と比較して、平均認定半径が32.9%高い。 0.66
Smooth-Max performs the second-best. Smooth-Maxは2番目のベストを実行する。 0.44
Also notice that Smooth-Max performance remains stable with the number of patches. また、smooth-maxのパフォーマンスはパッチの数で安定している。 0.69
σ = 1.00 Base Smooth Classifier Smoothmean-16 patches σ = 1.00 ベーススムース分類 Smoothmean-16 パッチ 0.57
σ = 0.25 σ = 0.5 Smooth-max-4 patches Smoothmean-8 patches σ = 0.25 σ = 0.5 Smooth-max-4 patch Smoothmean-8 patch 0.34
Smooth-max-8 patches Smoothmean-4 patches Smooth-max-8 パッチ Smoohmean-4 パッチ 0.42
Smoothmax-16 patches Smoothmax-16 パッチ 0.64
. c c A d e fi . c c A d e fi 0.43
i t r e C . I t r e C . 0.42
p p A p p a である。 0.54
0.6 0.4 0.2 0.6 0.4 0.2 0.39
0 0 0.2 0.4 0 0 0.2 0.4 0.43
0.6 0.8 Certified Radius 0.6 0.8 認定半径 0.42
0.6 0.4 0.2 0.6 0.4 0.2 0.39
0 0.5 0.4 0.3 0 0.5 0.4 0.3 0.40
0.2 0.1 0 1 0.2 0.1 0 1 0.36
0 1.5 0.5 Certified Radius 0 1.5 0.5 認定半径 0.50
1 2 0 3 1 Certified Radius 1 2 0 3 1 認証ラディウス 0.47
2 4 Figure 4: Certification for ImageNet.We see similar performance improvements of Smooth-Reduce over standard RS. 2 4 図4: ImageNet の認証 Smooth-Reduce の標準 RS に対する同様の性能改善が見られる。 0.55
Increasing number of patches does not affect Smooth-Max certificates significantly. パッチ数の増加はSmooth-Max証明書に大きな影響を与えない。 0.64
However, Smooth-Mean classifiers have a higher approximate certified accuracy as the number of patches increase, especially as the noise variance increases. しかし,smooth-mean分類器はパッチ数の増加,特にノイズ分散の増加に伴い,精度が向上している。 0.82
More detailed results can be found in the appendix. 詳細な結果は付録に記載されている。 0.63
4.2 Certificates for Video Classifiers 4.2 ビデオ分類用証明書 0.71
Video classifiers often employ aggregation over chunks from the video stream to tackle the problem of varying number of frames [7](see Fig 9 in appendix). ビデオ分類器は、フレーム数[7]の異なる問題に取り組むために、ビデオストリームのチャンクを集約することが多い(付録のfig 9を参照)。 0.78
Therefore, we propose Smooth-Reduce as a natural method to certify such classifiers. そこで本稿では,Smooth-Reduceを自然な手法として提案する。 0.63
While standard RS certificates have not been reported for such models, we observe in Fig 6(a) and 標準RS証明書はそのようなモデルでは報告されていないが、図6(a)と図6(a)で観察する。
訳抜け防止モード: 標準的なRS証明書はそのようなモデルでは報告されていない。 図6(a)で観察し
0.71
8 8 0.42
英語(論文から抽出)日本語訳スコア
Fig. 10(see Appendix) that certified accuracies using RS are still low. 第10図(アペンディックス参照)では、RSを用いた認証精度はまだ低い。 0.65
As a remedy, we adapt our Smooth-Reduce algorithm to videos. 対策として、ビデオにSmooth-Reduceアルゴリズムを適用する。 0.70
While the natural approach here would be to simply look at overlapping chunks as analogues for patches, initial tests showed catastrophic loss of accuracy when we use single chunks for prediction. ここでの自然なアプローチは、重複したチャンクをパッチのアナログと見なすだけだが、最初のテストでは、予測に単一チャンクを使用する場合の精度が壊滅的に低下した。 0.59
We therefore sample overlapping sub-videos with t frames instead. したがって、tフレームで重なり合うサブビデオをサンプリングする。 0.63
Each sub-video consists of a fixed number of chunks; each with m frames. 各サブビデオは一定数のチャンクで構成され、それぞれがmフレームを持つ。 0.70
The base video classifier aggregates over these chunks to produce a prediction. 基本ビデオ分類器はこれらのチャンクに集約し、予測を生成する。 0.61
We repeat the same process of smoothing and aggregation over the sub-videos instead of chunks, and label this as Smooth-Reduce-(t, m) where t is the number of frames in each sub-video and m is the number of frames in each chunk. 私たちは、チャンクではなくサブビデオ上での平滑化と集約という同じプロセスを繰り返すとともに、これをsmooth-reduce-(t, m)とラベル付けします。
訳抜け防止モード: チャンクの代わりにサブビデオ上でのスムーズ化とアグリゲーションという同じプロセスを繰り返します。 Smooth - Reduce-(t, m ) ここで t は各サブのフレーム数です - video と m は各チャンクのフレーム数です。
0.73
Fig 9 in the appendix shows a pictorial representation;see Sec. 付録の図9は絵の表現を示している。 0.62
B for a more detailed description. b より詳細な説明のために。 0.80
Note here that the base classifier itself is an ensemble over multiple 16 frame chunks. ここでは、基本分類器自体が複数の16フレームのチャンク上のアンサンブルであることに注意。 0.61
Experiments and Results. We test our approach on 3D ResNeXt-101 RGB [36] trained on UCF-101 [24]. 実験と結果。 UCF-101[24]でトレーニングした3D ResNeXt-101 RGB[36]に対して,本手法を検証した。 0.67
We retrain models initialized with weights from [7] using clips of 16 consecutive RGB frames with Gaussian noise augmentation. ガウス雑音を付加した16連続RGBフレームのクリップを用いて, [7] の重みを初期化したモデルを再学習する。 0.66
Similar to the setting of [7], we use SGD with weight decay of 0.0005, momentum of 0.9, and initial learning rate of 0.1. 7] の設定と同様に、0.0005 の減量、0.9 の運動量、初期学習率 0.1 の sgd を用いる。 0.67
We used the first train split and the first test split for training and testing our model, respectively. モデルのトレーニングとテストに、最初の列車分割と最初のテスト分割を使いました。 0.71
Additional training details can be found in the appendix. 追加のトレーニングの詳細は付録に記載されている。 0.65
For inference, the video classifier [7] follows these steps: (1) the input video stream is split into non overlapping chunks of 16 frames each, (2) the model predictions on these chunks are averaged, and returned as the output class. 推論のために、ビデオ分類器[7]は、(1)入力されたビデオストリームを16フレームの重複しないチャンクに分割し、(2)チャンクのモデル予測を平均化し、出力クラスとして返します。 0.67
We run Smooth-Reduce certification by first sampling 64 frame or 128 frame sub-videos for a video stream (analogous to patching for images) to create the input set. Smooth-Reduce認証は、まず64フレームまたは128フレームのサブビデオをビデオストリームにサンプリングし、入力セットを作成する。 0.60
Then we plug in the video classifier inference routine to predict classes for noisy copies of each sub-video. 次に、ビデオ分類子推論ルーチンをプラグインして、各サブビデオのノイズの多いコピーのクラスを予測する。
訳抜け防止モード: それからビデオ分類推論ルーチンをプラグインし 各サブビデオのノイズコピーのクラスを予測する。
0.79
See Fig 6 for results. 結果についてはfig 6を参照。 0.57
Note that Smooth-Max and Smooth-Mean both outperform the standard randomized smoothing classifier. 注意: Smooth-Max と Smooth-Mean はどちらも標準ランダム化スムージング分類器より優れている。 0.58
Limitations of Randomized Smoothing for Videos. ビデオのランダム化平滑化の限界。 0.63
We encountered several challenges while attempting to certify video classifiers. ビデオ分類器の認証中に,いくつかの課題に遭遇した。 0.52
A significant challenge was training noise robust classifiers. 重要な課題は、ノイズロバストな分類器の訓練であった。 0.47
We observe that adding Gaussian noise to video data often led to catastrophic decreases in accuracy. ビデオデータにガウスノイズを加えると、しばしば壊滅的な精度低下が生じた。 0.70
This could be an artifact of the architecture which averages predictions over frames by itself. これは、フレームの予測をそれ自体で平均化するアーキテクチャの成果物かもしれない。 0.70
Further, the memory requirements often became insurmountable to get high probability certificates. さらに、メモリ要件はしばしば高い確率証明書を取得するために必要となる。 0.67
Our certificates here have been estimated using n0 = 10 samples for prediction, and n = 1000 samples for certification with a failure probability of α = 0.001%. ここでの証明書は,n0 = 10サンプルを用いて予測し,n = 1000サンプルをα = 0.001%の故障確率で評価した。 0.80
However, Smooth-Reduce allows for lower sample complexity (see appendix), allowing for Smooth-Mean models to still achieve non-trivial certified accuracies. しかし、Smooth-Reduceはサンプルの複雑さを低くすることができ(付録を参照)、Smooth-Meanモデルでも非自明な認証精度を達成できる。 0.64
Smoothmax: 384 × 384 Smoothmax: 512 × 512 Smoothmax: 640 × 640 1 スムースマックス384×384スムースマックス512×512スムースマックス640×6401 0.54
Smoothmean: 384 × 384 Smoothmean: 512 × 512 Smoothmean: 640 × 640 スムートマ海 384 × 384 スムートマ海 512 × 512 スムートマ海 640 × 640 0.52
y c a r u c c A e t a m i x o r p p A y c a r u c c A e t a m i x o r p p A 0.42
0.8 0.6 0.4 0.8 0.6 0.4 0.39
0.2 0 0 0.2 0.2 0 0 0.2 0.36
Base Smooth Classifier Smooth-max classifier Smooth-mean classifier ベーススムース分類器 Smooth-max 分類器 Smooth-mean 分類器 0.53
σ = 0.5 1 0.8 σ = 0.5 1 0.8 0.37
0.6 0.4 0.2 0.6 0.4 0.2 0.39
0 . c c A d e fi 0 . c c A d e fi 0.43
i t r e C . I t r e C . 0.42
p p A p p a である。 0.54
0.4 0.6 Certified Radius 0.4 0.6 認定半径 0.52
0.8 1 0 0.5 1.5 Certified Radius 0.8 1 0 0.5 1.5 認定半径 0.43
1 2 Figure 5: Effect of resizing. 1 2 図5:リサイズの影響。 0.52
(L) Notice that as the input size increases, the information in each patch correspondingly decreases. (l)入力サイズが大きくなると、各パッチの情報は対応するほど減少する。 0.74
The base classifier performs worse overall for each patch leading to lower certified accuracy. ベース分類器は、各パッチに対して総合的に悪化し、認証精度が低下する。 0.58
(b) Certification with Confidence Calibration (R). (b)信頼性校正(R)による認定 0.78
Under the same number of overall samples and calibrated failure probabilites, Smooth-Reduce out-performs standard RS [22] in both certification radius and certified accuracy. 同じ数のサンプルと校正失敗確率の下で、Smooth-Reduceは認定半径と認証精度の両方で標準RS[22]を出力する。 0.78
4.3 Ablation Studies. 4.3 アブレーション研究 0.80
We further analyse the various components of our approach. このアプローチのさまざまなコンポーネントをさらに分析します。 0.78
9 9 0.42
英語(論文から抽出)日本語訳スコア
Standard RS-16 Smooth-Max-(64,16) Smooth-Mean-(64,16) 標準RS-16 Smooth-Max-(64,16) Smooth-Mean-(64,16) 0.47
Standard RS-8 Smooth-Max-(64,8) Smooth-Mean-(64,8) 標準RS-8 Smooth-Max-(64,8) Smooth-Mean-(64,8) 0.47
Standard RS-8) Smooth-Max-(64,8) Smooth-Mean-(64,8) 標準RS-8) Smooth-Max-(64,8) Smooth-Mean-(64,8) 0.50
Standard RS-(128,8) Smooth-Max-(128,8) Smooth-Mean-(128,8) 標準RS-(128,8)Smooth-Max -(128,8)Smooth-Mean- (128,8) 0.33
σ = 0.5 σ = 0.5 σ = 0.5 σ = 0.5 0.39
. c c A d e fi i t r e C . c c a d e fi i t r e c 0.41
. p p A . p p a である。 0.48
0.4 0.2 0 . 0.4 0.2 0 . 0.43
c c A d e fi i t r e C c c a d e fi i t r e c 0.40
. p p A . p p a である。 0.48
0.4 0.2 0 0 0.4 0.2 0 0 0.43
0.2 0.6 Certified Radius 0.2 0.6 認定半径 0.57
0.4 0.8 0 0.2 0.6 Certified Radius 0.4 0.8 0 0.2 0.6 認定半径 0.47
0.4 0.8 Figure 6: Results on UCF-101. 0.4 0.8 図6: UCF-101 の結果。 0.57
For standard RS classifiers, the number represents the number of frames in each chunk. 標準rs分類器では、その数は各チャンクのフレーム数を表す。 0.72
For Smooth-Reduce classifiers, the first number is the subvideo size, and the second is the number of frames in each chunk. smooth-reduce分類器では、最初の数値はサブビデオサイズで、2番目はチャンク内のフレーム数である。 0.76
(Left) Varying chunk sizes.Our modified Smooth-Reduce classifiers provide higher certified accuracies as compared to standard RS on UCF-101 videos. (左) 修正されたSmooth-Reduce分類器は、UCF-101ビデオの標準RSと比較して高い認証精度を提供する。 0.47
Also observe that for a fixed subvideo size, RS and Smooth-Reduce classifiers using larger chunks (16 frames over 8 frames) are more robust. また、固定されたサブビデオサイズでは、より大きなチャンク(8フレーム以上16フレーム)を使用するRSとSmooth-Reduceの分類器がより堅牢である。 0.63
(Right) Varying subvideo sizes. (標高) ビデオサイズの変更。 0.64
Smooth-Reduce classifiers using larger subvideo sizes are more robust. より大きなサブビデオサイズを使用するスムースなreduce分類器はより堅牢である。 0.47
The difference is more pronounced for Smooth-Mean classifiers which outperform standard RS by a large margin. この差はSmooth-Mean分類においてより顕著であり、標準RSを大きなマージンで上回る。 0.68
More results can be found in the Appendix. さらなる結果はAppendixで見ることができる。 0.74
Number of patches: We measure the effect of the number of samples used for Smooth-Reduce certification on Imagenet classifiers. パッチ数: 画像ネット分類器におけるSmooth-Reduce認証に使用されるサンプル数の測定を行う。 0.83
Fig 4 shows that Smooth-Max classifiers are relatively unaffected by the number of samples chosen. fig 4 は、滑らかな最大分類器が選択したサンプル数に比較的影響を受けないことを示した。
訳抜け防止モード: 図4は スムース - 最大分類器は選択したサンプル数に比較的影響を受けない。
0.69
However, we see that increasing number of patches improves performance of Smooth-Mean certificates. しかし,パッチ数の増加はSmooth-Mean証明書の性能を向上させると考えられる。 0.68
This can be attributed to better empirical estimates as the number of samples increase, and also verifies our theoretical analysis; see appendix. これは、サンプル数が増えるにつれてより良い経験的推定値に起因し、我々の理論的分析を検証する。 0.67
Note too that this difference is more evident for higher noise variances. この差はより高いノイズ分散に対してより明らかである。 0.76
Effect of Resizing: Another component of Smooth-Reduce is the resizing step undertaken while sampling. リサイズの影響: Smooth-Reduceのもうひとつのコンポーネントは、サンプリング中のリサイズステップである。 0.55
While theoretically it should not affect the radius, the base classifier does assume that the features would be of a certain size. 理論的には半径には影響しないが、基底分類器は特徴が一定の大きさであると仮定する。 0.74
We analyse the effect of the resizing step by resizing Imagenet test images to 384 × 384, 512 × 512 and, 640 × 640 and sampling 16 patches of 224 × 224 randomly. 画像を384 × 384, 512 × 512, 640 × 640 に変更し, ランダムに16 個のパッチ224 × 224 をサンプリングすることにより, 再サイズステップの効果を分析する。 0.81
In Fig 5(a), we observe that as resizing becomes more extreme, the certified accuracy falls in tandem with base accuracy. 図5(a)では、リサイズがより極端になると、認証精度はベース精度と一致して低下する。
訳抜け防止モード: 図5(a)では 再サイズが極端になると、認証された精度は基準精度と一致して低下する。
0.77
Random v/s dense sampling: Since sampling of patches plays a large role in creating a diverse input set, we also analyse the effect of two sampling approaches; dense and uniform random. ランダムv/s高密度サンプリング: パッチのサンプリングは多様な入力セットを作成する上で大きな役割を果たすため、2つのサンプリング手法(密度と均一なランダム)の効果も分析する。 0.77
For random sampling, we select patches randomly with replacement from the resized input image, and discarding any ‘invalid’ patches that fall outside the image borders. ランダムサンプリングでは、リサイズされた入力画像の置き換えでランダムにパッチを選択し、画像境界の外側にある"無効な"パッチを破棄する。 0.73
For dense sampling, we sample overlapping patches with a specified stride length. 密集サンプリングでは, 特定のストライド長さの重なり合うパッチをサンプリングする。 0.71
We evaluate if the sampling approach affects the certificates by sampling 25 patches for each method. サンプリング手法が証明書に影響を及ぼすかどうかを,各手法の25個のパッチをサンプリングして評価する。 0.58
We observe that the sampling process does not affect the certification process as long as the number of patches are high enough (see Fig 7 in appendix). 我々は,パッチ数が多い限り,サンプリングプロセスが認証プロセスに影響を与えないことを観察する(付録の図7参照)。 0.72
Effect of subvideo/chunk sizes: We analyze the effect using different subvideo and chunk sizes on UCF101 certifcation. サブビデオ/チャンクサイズの影響: 異なるサブビデオとチャンクサイズがUCF101認証に与える影響を分析する。 0.71
Specifically, we use either 64 or 128 frames for the size of subvideos, and 8 or 16 frames for the size of chunks. 具体的には、64フレームまたは128フレームをサブビデオサイズに、8フレームまたは16フレームをチャンクサイズに使用します。 0.72
Fig 6 suggest that we would benefit from having a larger subvideo or chunk sizes. 図6は、より大きなサブビデオやチャンクサイズを持つことのメリットを示唆しています。 0.63
In fact, we observe that using 128 frame subvideos and 64 frame chunks yield the highest certification accuracy. 実際、128フレームのサブビデオと64フレームのチャンクを使用すると、高い認証精度が得られる。 0.70
5 Discussion and Conclusions We present Smooth-Reduce, an extension of the randomized smoothing approach proposed in [6]. 5 議論と結論 Smooth-Reduceは[6]で提案されたランダム化スムースな手法の拡張である。 0.74
We empirically and theoretically proved that Smooth-Reduce classifiers improve over standard randomized smoothing in terms of certified radii, as well as abstention rate. 我々は,smooth-reduce分類器が標準ランダム化平滑化よりも,radiiの認定と回避率の点で改善できることを実験的および理論的に証明した。 0.59
Our approach relies on the performance boosting properties of ensemble classifiers, which we emulate by creating an input set using patches. 本手法は,パッチを用いて入力セットを作成することでエミュレートするアンサンブル分類器の性能向上特性に依存する。 0.75
We show better certification performance as compared to other smoothing methods under two different aggregation schemes. 2つの異なるアグリゲーション方式の他の平滑化手法と比較して,認証性能がよいことを示す。 0.66
A major benefit is that our approach requires no additional re-training. 大きな利点は、我々のアプローチが追加のトレーニングを必要としないことです。 0.59
Our approach also does not make any assumptions on the base classifier. 当社のアプローチでは,ベース分類器の仮定も行いません。 0.67
Therefore, Smooth-Reduce can plugged in effortlessly into other certified classifiers, such as MACER [40], and achieve improved certificates. したがって、Smooth-ReduceはMACER[40]のような他の認定分類器に懸命に接続し、改良された証明書を達成できる。 0.66
Some limitations of 10 制限事項 10 0.45
英語(論文から抽出)日本語訳スコア
our approach persist. 我々のアプローチは続く 0.66
Firstly, we require higher inference-time computation than standard RS approaches. まず、標準のRS手法よりも高い推論時間計算が必要である。 0.57
However, note that in comparison to other ensembling approaches [11, 38], our method does not require training multiple classifiers. しかし, [11,38] 手法と比較すると,本手法は複数の分類器を訓練する必要がないことに注意されたい。 0.73
Further, we have not studied adaptive attacks for this scheme, and constructing reasonable attacks for such classifiers (and verifying these certificates empirically) is a complex research question in and of itself. さらに,本手法の適応的攻撃について検討しておらず,そのような分類器に対する合理的な攻撃(およびこれらの証明を実証的に検証)は,それ自身で複雑な研究課題である。 0.72
We leave these directions to future work. 私たちはこれらの方向を将来の仕事に任せる。 0.56
Acknowledgements Part of this work was performed when AJ was a summer intern at Bosch AI, where it was supported by DARPA grant HR11002020006. 覚書 この研究の一部は、AJがボッシュAIの夏のインターンだった時に行われ、DARPAがHR11002020006を認可した。 0.54
AJ, MC, MP, and CH would also like to acknowledge NSF grants CCF-2005804 and CCF-1815101, USDA/NIFA grant 2021-67021-35329, and ARPA-E DIFFERENTIATE grant DE-AR0001215. AJ、MC、MP、CHはまた、NSFがCCF-2005804およびCCF-1815101、USDA/NIFAが2021-67021-35329、ARPA-E DIFFERENTIATEがDE-AR0001215を付与することを承認したい。 0.49
References [1] Addepalli, S., Jain, S., Sriramanan, G., Babu, R.V.: Boosting adversarial robustness using feature level stochastic smoothing. 参考文献 [1] addepalli, s., jain, s., sriramanan, g., babu, r.v.: 特徴レベルの確率的平滑化を用いた敵対的ロバスト性の向上。
訳抜け防止モード: 参考文献 [1 ]アデパリ,S.,ジャイナ,S.,スリラマナン, G., Babu, R.V. 特徴量確率的平滑化による対向ロバスト性の向上
0.72
In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. In:IEEE/CVF Conference on Computer Vision and Pattern Recognitionの開催。 0.42
pp. 93–102 (2021) 93-102(2021年) 0.53
[2] Alfarra, M., Bibi, A., Torr, P.H.S., Ghanem, B. [2]Alfarra, M., Bibi, A., Torr, P.H.S., Ghanem, B 0.45
: Data dependent randomized smoothing. :データ依存ランダム化平滑化。 0.75
ArXiv abs/2012.04351 ArXiv abs/2012.04351 0.25
(2020) [3] Athalye, A., Carlini, N., Wagner, D. (2020) [3]Athalye,A.,Carini,N. ,Wagner,D. 0.40
: Obfuscated gradients give a false sense of security: Circumventing defenses :難解な勾配はセキュリティの誤った感覚を与える:防衛の回避 0.65
to adversarial examples. In: ICML (2018) 敵対的な例です ICML(2018年) 0.52
[4] Carlini, N., Katz, G., Barrett, C., Dill, D.L.: Ground-truth adversarial examples. 4] Carlini, N., Katz, G., Barrett, C., Dill, D.L.: Ground-Truth adversarial example。 0.45
arXiv (2017) [5] Carlini, N., Wagner, D. arXiv (2017) [5] Carlini, N., Wagner, D。 0.42
: Towards evaluating the robustness of neural networks. ニューラルネットワークの堅牢性評価に向けて 0.63
IEEE (SP) (2017) [6] Cohen, J., Rosenfeld, E., Kolter, Z. IEEE (SP) (2017) [6] Cohen, J., Rosenfeld, E., Kolter, Z。 0.42
: Certified adversarial robustness via randomized smoothing. : ランダムな平滑化による正反対頑健性 0.60
In: ICML. PMLR 略称はicml。 PMLR 0.39
(2019) [7] Crasto, N., Weinzaepfel, P., Alahari, K., Schmid, C. (2019) [7]Crosto,N.,Weinzaepfe l,P.,Alahari,K.,Schm id,C. 0.39
: Mars: Motion-augmented rgb stream for action recognition. 火星:行動認識のための運動増強rgbストリーム。 0.77
In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. In:IEEE/CVF Conference on Computer Vision and Pattern Recognitionの開催。 0.42
pp. 7882–7891 (2019) pp.7882-7891(2019) 0.37
[8] Dosovitskiy, A., Beyer, L., et al : An image is worth 16x16 words: Transformers for image recognition at scale. [8]Dosovitskiy, A., Beyer, L., et al : 画像は16×16ワードの価値がある。
訳抜け防止モード: [8 ]Dosovitskiy, A., Beyer, L., et al : 画像は16×16ワードの価値がある : 大規模画像認識用トランスフォーマー
0.78
In: ICLR (2020) イン:ICLR(2020年) 0.85
[9] Goodfellow, I. 9]おはようございます。 0.50
: Defense against the dark arts: An overview of adversarial example security research and future ダークアーツに対する防御--敵対的セキュリティ研究の概要と今後の展望 0.61
research directions. arxiv preprint 1806.04169 (2018) 研究の方向だ arxivプレプリント1806.04169(2018年) 0.61
[10] Goodfellow, I., Bengio, Y., Courville, A. [10]Goodfellow, I.,Bengio, Y.,Courville, A. 0.40
: Deep Learning. MIT Press (2016), http://www.deeplearn ingbook. 深層学習。 MIT Press (2016), http://www.deeplearn ingbook. 0.34
org [11] Horv’ath, M.Z., M¨uller, M.N., Fischer, M., Vechev, M.T.: Boosting randomized smoothing with variance reduced オーグ 11] Horv’ath, M.Z., M suller, M.N., Fischer, M., Vechev, M.T.: ばらつきを低減したランダム化平滑化の促進 0.63
classifiers. ArXiv abs/2106.06946 (2021) 分類器 ArXiv abs/2106.06946(2021年) 0.45
[12] Huang, X., Kwiatkowska, M., Wang, S., Wu, M. [12]Huang,X.,Kwiatkowska ,M.,Wang,S.,Wu,M. 0.35
: Safety verification of deep neural networks. 深層ニューラルネットワークの安全性検証 0.57
Computer Aided Verification (CAV) (2017) コンピュータ支援 検証(CAV)(2017年) 0.70
[13] Jeong, J., Park, S., Kim, M., Lee, H.C., Kim, D.G., Shin, J. [13]Jeong, J., Park, S., Kim, M., Lee, H.C., Kim, D.G., Shin, J. 0.48
: Smoothmix: Training confidence-calibrate d smoothed Smoothmix:信頼度校正スムーズなトレーニング 0.77
classifiers for certified robustness. 認定ロバスト性のための分類器。 0.40
Advances in Neural Information Processing Systems 34 (2021) 神経情報処理システム34(2021)の進歩 0.75
[14] Katz, G., Barrett, C., Dill, D., Julian, K., Kochenderfer, M. [14] Katz, G., Barrett, C., Dill, D., Julian, K., Kochenderfer, M. 0.42
: Reluplex: An efficient smt solver for verifying deep reluplex: 深部検証のための効率的なsmtソルバ 0.72
neural networks. ニューラルネットワーク。 0.65
arXiv preprint arXiv:1702.01135 (2017) arXiv preprint arXiv:1702.01135 (2017) 0.37
[15] Katz, G., Barrett, C., Dill, D.L., Julian, K., Kochenderfer, M.J.: Towards proving the adversarial robustness of [15] Katz, G., Barrett, C., Dill, D.L., Julian, K., Kochenderfer, M.J.: 敵の強靭性を証明するために 0.87
deep neural networks. ディープニューラルネットワーク。 0.61
arXiv preprint (2017) arxivプレプリント(2017年) 0.45
[16] Lecuyer, M., Atlidakis, V., Geambasu, R., Hsu, D., Jana, S. [16] lecuyer, m., atlidakis, v., geambasu, r., hsu, d., jana, s. 0.38
: Certified robustness to adversarial examples with 敵対的事例に対する認定ロバスト性 0.61
differential privacy. プライバシーの相違。 0.55
In: 2019 IEEE Symposium on Security and Privacy (SP). 2019年IEEE Symposium on Security and Privacy (SP)に参加。 0.73
pp. 656–672. pp. 656-672。 0.78
IEEE (2019) [17] Levine, A.J., Feizi, S. IEEE (2019) [17] Levine, A.J., Feizi, S. 0.48
: Improved, deterministic smoothing for L1 certified robustness. : L1の堅牢性向上, 決定論的スムース化 0.66
In: ICML (2021) [18] Liu, C., Feng, Y., Wang, R., Dong, B. ICML (2021) [18] Liu, C., Feng, Y., Wang, R., Dong, B。 0.37
: Enhancing certified robustness of smoothed classifiers via weighted model 加重モデルによるスムーズな分類器の信頼性向上 0.73
ensembling. ArXiv abs/2005.09363 (2020) 馬鹿げてる ArXiv abs/2005.09363 (2020) 0.37
[19] Madry, A., Makelov, A., Schmidt, L., Tsipras, D., Vladu, A. [19]Madry, A., Makelov, A., Schmidt, L., Tsipras, D., Vladu, A. 0.41
: Towards deep learning models resistant to adversarial 逆境に抵抗する深層学習モデルに向けて 0.72
attacks. In: ICLR (2018), https://openreview.n et/forum? 攻撃だ ICLR (2018), https://openreview.n et/forum? 0.57
id=rJzIBfZAb id=rJzIBfZAb 0.29
11 11 0.43
英語(論文から抽出)日本語訳スコア
[20] Raghunathan, A., Steinhardt, J., Liang, P. [20]Raghunathan, A., Steinhardt, J., Liang, P. 0.42
: Certified defenses against adversarial examples. 敵対的事例に対する防御の認定。 0.68
In: ICLR (2018) [21] Raghunathan, A., Steinhardt, J., Liang, P.S.: Semidefinite relaxations for certifying robustness to adversarial in: iclr (2018) [21] raghunathan, a., steinhardt, j., liang, p.s.: 敵対者に対する堅牢性を証明するための半定値緩和 0.70
examples. In: NeurIPS (2018) 例です イン:NeurIPS(2018年) 0.58
[22] Salman, H., Yang, G., Li, J., Zhang, P., Zhang, H., Razenshteyn, I., Bubeck, S. [22]Salman,H.,Yang,G.,Li ,J.,Zhang,P.,Zhang,H .,Razenshteyn,I.,Bub eck,S.
訳抜け防止モード: [22 ]サルマン,H.,Yang,G.,Li,J. Zhang, P., Zhang, H., Razenshteyn, I. Bubeck, S。
0.73
: Provably robust deep learning via 強靭な深層学習をめざして 0.62
adversarially trained smoothed classifiers. 逆行訓練されたスムーズな分類器 0.37
In: NeurIPS (2019) イン:NeurIPS(2019年) 0.82
[23] Samangouei, P., Kabkab, M., Chellappa, R. [23]Samangouei,P.,Kabkab ,M.,Chellappa,R. 0.39
: Defense-gan: Protecting classifiers against adversarial attacks using 防衛願:敵攻撃に対する分類器の保護 0.83
generative models. ArXiv abs/1805.06605 (2018) 生成モデル。 ArXiv abs/1805.06605(2018年) 0.59
[24] Soomro, K., Zamir, A.R., Shah, M. [24] Soomro, K., Zamir, A.R., Shah, M. 0.48
: Ucf101: A dataset of 101 human actions classes from videos in the wild Ucf101:野生のビデオからの101人のアクションクラスのデータセット 0.79
(2012) [25] S´uken´ık, P., Kuvshinov, A., G¨unnemann, S. (2012) [25] S ́uken ́ık, P., Kuvshinov, A., G sunnemann, S. 0.43
: Intriguing properties of input-dependent randomized smoothing. : 入力依存型ランダム化平滑化の興味深い性質 0.66
arXiv preprint arXiv:2110.05365 (2021) arXiv preprint arXiv:2110.05365(202 1年) 0.67
[26] Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I., Fergus, R. [26]Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I., Fergus, R. 0.41
: Intriguing properties of :興味をそそられる性質 0.57
neural networks. ニューラルネットワーク。 0.65
International Conference on Learning Representations (2014) 学習表現に関する国際会議(2014年) 0.79
[27] Teng, J., Lee, G.H., Yuan, Y. [27]Teng,J.,Lee,G.H.,Yua n,Y。 0.75
: ℓ1 adversarial robustness certificates: a randomized smoothing approach. : l1対逆ロバスト性証明:ランダムな平滑化アプローチ。 0.62
OpenRe- view (2019), https://openreview.n et/forum? OpenRe ビュー (2019), https://openreview.n et/forum? 0.57
id=H1lQIgrFDS id=H1lQIgrFDS 0.20
[28] Tjeng, V., Xiao, K., Tedrake, R. [28]Tjeng,V.,Xiao,K.,Ted rake,R. 0.33
: Evaluating robustness of neural networks with mixed integer programming. 混合整数プログラミングを用いたニューラルネットワークのロバスト性評価 0.74
arXiv preprint arXiv:1711.07356 (2017) arXiv preprint arXiv:1711.07356 (2017) 0.37
[29] Trockman, A., Kolter, J.Z.: Patches are all you need? Trockman, A., Kolter, J.Z.: パッチは必要か? 0.61
ArXiv abs/2201.09792 (2022) [30] Vershynin, R. ArXiv abs/2201.09792 (2022) [30] Vershynin, R。 0.42
: High-dimensional probability: An introduction with applications in data science, vol. : 高次元確率:データサイエンスにおける応用入門, vol. 0.77
47. Cam- bridge university press (2018) 47. カム ブリッジ大学出版(2018年) 0.49
[31] Wang, Y., Zou, D., Yi, J., Bailey, J., Ma, X., Gu, Q. [31] Wang, Y., Zou, D., Yi, J., Bailey, J., Ma, X., Gu, Q. 0.43
: Improving adversarial robustness requires revisiting 敵の強靭性を改善するには再考が必要である 0.34
misclassified examples. In: ICLR (2019) 分類ミスの例です In: ICLR (2019) 0.49
[32] Wang, Y. [32]Wang, Y。 0.33
: Improving adversarial robustness for free with snapshot ensemble. スナップショットアンサンブルによる対向ロバスト性の向上 0.46
ArXiv abs/2110.03124 (2021) [33] Wang, Y., Zou, D., Yi, J., Bailey, J., Ma, X., Gu, Q. ArXiv abs/2110.03124 (2021) [33] Wang, Y., Zou, D., Yi, J., Bailey, J., Ma, X., Gu, Q。 0.93
: Improving adversarial robustness requires revisiting 敵の強靭性を改善するには再考が必要である 0.34
misclassified examples. In: ICLR (2019) 分類ミスの例です In: ICLR (2019) 0.49
[34] Weng, T.W., Zhang, H., Chen, H., Song, Z., Hsieh, C.J., Boning, D.S., Dhillon, I.S., Daniel, L. [34]Weng, T.W., Zhang, H., Chen, H., Song, Z., Hsieh, C.J., Boning, D.S., Dhillon, I.S., Daniel, L.
訳抜け防止モード: [34 ]Wong,T.W.,Zhang,H.,C hen, H., Song, Z., Hsieh, C.J., Boning D.S.、Dhillon、I.S.、Daniel、L。
0.84
: Towards fast computation of certified robustness for relu networks. 早い方向へ reluネットワークにおける認証ロバスト性の計算 0.61
In: ICML (2018) ICML(2018年) 0.43
[35] Wong, E., Kolter, Z. [35]Wong, E., Kolter, Z 0.32
: Provable defenses against adversarial examples via the convex outer adversarial polytope. 対向性外向性ポリトープ(en:convex outer adversarial polytope)による対向性防御 0.54
In: ICML. PMLR (2018) 略称はicml。 PMLR(2018年) 0.49
[36] Xie, S., Girshick, R., Doll´ar, P., Tu, Z., He, K. [36]Xie, S., Girshick, R., Doll ́ar, P., Tu, Z., He, K。 0.45
: Aggregated residual transformations for deep neural networks ディープニューラルネットワークのための集約残差変換 0.69
(2017) [37] Yang, G., Duan, T., Hu, E.J., Salman, H., Razenshteyn, I.P., Li, J. (2017) [37]Yang,G.,Duan,T.,Hu,E .J.,Salman,H.,Razens hteyn,I.P.,Li,J. 0.42
: Randomized smoothing of all shapes and sizes. あらゆる形や大きさのランダムな平滑化。 0.71
In: ICML (2020) in: icml (2020) 0.32
[38] Yang, Z., Li, L., Xu, X., Kailkhura, B., Xie, T., Li, B. [38]陽、Z、Li、L、Xu、Xu、Kilkhura、B.、Xie、T.、Li、B. 0.71
: On the certified robustness for ensemble models and アンサンブルモデルの信頼性とロバスト性について 0.45
beyond. ArXiv abs/2107.10873 (2021) 向こうだ arxiv abs/2107.10873 (2021) 0.30
[39] Yin, Z.and Wang, H., Wang, J., Tang, J., Wang, W. [39]yin,Z.and Wang,H.,Wang,J.,Tang ,J.,Wang,W. 0.38
: Defense against adversarial attacks by low-level image 低レベル画像による敵攻撃に対する防御 0.79
transformations. トランスフォーメーション。 0.53
International Journal of Intelligent Systems (2020) International Journal of Intelligent Systems (2020) 0.42
[40] Zhai, R., Dan, C., He, D., Zhang, H., Gong, B., Ravikumar, P., Hsieh, C.J., Wang, L. [40] Zhai, R., Dan, C., He, D., Zhang, H., Gong, B., Ravikumar, P., Hsieh, C.J., Wang, L。 0.88
: Macer: Attack-free and メイカー:無攻撃・無攻撃 0.58
scalable robust training via maximizing certified radius. 認定半径の最大化による スケーラブルな堅牢な訓練 0.62
ArXiv abs/2001.02378 (2020) ArXiv abs/2001.02378(2020年) 0.62
[41] Zhang, H., Yu, Y., Jiao, J., Xing, E., El Ghaoui, L., Jordan, M. [41]Zhang, H., Yu, Y., Jiao, J., Xing, E., El Ghaoui, L., Jordan, M. 0.42
: Theoretically principled trade-off between 理論的に原則的なトレードオフ 0.56
robustness and accuracy. In: ICML. 頑丈さと正確さ 略称はicml。 0.58
pp. 7472–7482 (2019) pp.7472-7482(2019) 0.38
[42] Zhang, H., Ciss´e, M., Dauphin, Y., Lopez-Paz, D. [42]Zhang, H., Ciss ́e, M., Dauphin, Y., Lopez-Paz, D. 0.48
: mixup: Beyond empirical risk minimization. 混合: 経験的リスク最小化を超えて。 0.67
ArXiv abs/1710.09412 (2018) ArXiv abs/1710.09412(2018年) 0.42
12 12 0.42
英語(論文から抽出)日本語訳スコア
A Results and Discussion We support our observations in Sec. 4 with some additional results presented here. 結果と議論 我々は、sec 4の観察を支援し、追加の結果をここで示した。 0.57
A.1 Additional Results for CIFAR-10 A.1 CIFAR-10の追加結果 0.54
σ Approach 0.25 σ アプローチ 0.25 0.49
0.50 1.0 Smooth-Max (Ours) Smooth-Mean (Ours) 0.50 1.0 Smooth-Max (Ours) Smooth-Mean (Ours) 0.33
SmoothAdv [22] SmoothAdv [22] 0.42
MACER-Smooth-Max (Ours) MACER-Smooth-Mean (Ours) MACER-Smooth-Max(Our s)MACER-Smooth-Mean( Ours) 0.31
MACER [40] DDRS [2] MACER[40] DDRS[2] 0.41
Ensemble [11] アンサンブル[11] 0.56
Smooth-Max (Ours) Smooth-Mean (Ours) Smooth-Max (Ours) Smooth-Mean (Ours) 0.41
SmoothAdv [22] SmoothAdv [22] 0.42
MACER-Smooth-Max (Ours) MACER-Smooth-Mean (Ours) MACER-Smooth-Max(Our s)MACER-Smooth-Mean( Ours) 0.31
MACER [40] DDRS [2] MACER[40] DDRS[2] 0.41
Ensemble [11] アンサンブル[11] 0.56
Smooth-Max (Ours) Smooth-Mean (Ours) Smooth-Max (Ours) Smooth-Mean (Ours) 0.41
SmoothAdv [22] SmoothAdv [22] 0.42
MACER-Smooth-Max (Ours) MACER-Smooth-Mean (Ours) MACER-Smooth-Max(Our s)MACER-Smooth-Mean( Ours) 0.31
MACER [40] DDRS [2] MACER[40] DDRS[2] 0.41
Ensemble [2] Table 3: Detailed results on CIFAR-10. アンサンブル[2] 表3: CIFAR-10の詳細な結果。 0.63
0.0 85 84 84 80 80 79 73 83 73 74 72 67 67 63 61 65 54 57 50 45 44 42 46 49 0.0 85 84 84 80 80 79 73 83 73 74 72 67 67 63 61 65 54 57 50 45 44 42 46 49 0.46
0.25 79 82 73 75 78 67 61 70 69 72 61 62 66 56 53 59 50 55 44 42 44 39 39 43 0.25 79 82 73 75 78 67 61 70 69 72 61 62 66 56 53 59 50 55 44 42 44 39 39 43 0.46
0.5 74 79 58 68 75 52 51 55 64 69 50 59 64 47 45 49 47 54 36 39 42 35 33 37 0.5 74 79 58 68 75 52 51 55 64 69 50 59 64 47 45 49 47 54 36 39 42 35 33 37 0.46
0.75 65 76 39 60 71 40 39 42 60 67 40 54 62 43 35 45 44 52 28 35 41 32 27 30 0.75 65 76 39 60 71 40 39 42 60 67 40 54 62 43 35 45 44 52 28 35 41 32 27 30 0.46
1.0 0 0 0 0 0 0 18 0 55 66 31 48 60 34 27 38 41 49 21 33 40 30 22 23 1.0 0 0 0 0 0 0 18 0 55 66 31 48 60 34 27 38 41 49 21 33 40 30 22 23 0.46
1.25 0 0 0 0 0 0 0 0 49 64 20 41 58 25 19 32 37 48 18 30 40 27 19 18 1.25 0 0 0 0 0 0 0 0 49 64 20 41 58 25 19 32 37 48 18 30 40 27 19 18 0.36
Radii 1.75 Radii 1.75 0.35
0 0 0 0 0 0 0 0 36 58 0 26 53 11 7 19 31 45 9 23 39 20 12 13 0 0 0 0 0 0 0 0 36 58 0 26 53 11 7 19 31 45 9 23 39 20 12 13 0.42
2.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 27 44 7 22 38 18 9 11 2.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 27 44 7 22 38 18 9 11 0.46
1.5 0 0 0 0 0 0 0 0 43 61 10 35 56 20 13 26 34 46 13 27 39 25 15 16 1.5 0 0 0 0 0 0 0 0 43 61 10 35 56 20 13 26 34 46 13 27 39 25 15 16 0.46
2.25 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 23 42 5 19 36 15 5 9 2.25 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 23 42 5 19 36 15 5 9 0.36
2.5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 20 41 4 16 36 12 4 5 2.5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 20 41 4 16 36 12 4 5 0.46
2.75 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 18 39 2 13 35 9 3 0 2.75 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 18 39 2 13 35 9 3 0 0.36
3.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 15 37 1 11 35 7 2 0 3.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 15 37 1 11 35 7 2 0 0.46
3.25 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 13 34 0 9 33 6 1 0 3.25 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 13 34 0 9 33 6 1 0 0.36
3.5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 10 32 0 7 31 4 0 0 3.5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 10 32 0 7 31 4 0 0 0.46
3.75 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7 28 0 3 28 1 0 0 3.75 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7 28 0 3 28 1 0 0 0.36
4.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 4.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.46
A.2 Additional Results for ImageNet A.2 ImageNetのさらなる結果 0.53
13 13 0.85
英語(論文から抽出)日本語訳スコア
Table 4: Detailed results on ImageNet. 表4: ImageNetの詳細な結果。 0.80
σ Approach 0.25 σ アプローチ 0.25 0.49
0.50 1.0 Smooth-Max-16(PGD) Smooth-Mean-16 (PGD) Smooth-Max-16 (DDN) Smooth-Mean-16 (DDN) 0.50 1.0 Smooth-Max-16(PGD) Smooth-Mean-16(PGD) Smooth-Max-16(DDN) Smooth-Mean-16(DDN) 0.30
Smooth-Max-8(PGD) Smooth-Mean-8 (PGD) Smooth-Max-8 (DDN) Smooth-Mean-8 (DDN) Smooth-Max-8(PGD) Smooth-Mean-8(PGD) Smooth-Max-8(DDN) Smooth-Mean-8(DDN) 0.30
SmoothAdv [22] SmoothAdv [22] 0.43
Smooth-Max-16(PGD) Smooth-Mean-16 (PGD) Smooth-Max-16 (DDN) Smooth-Mean-16 (DDN) Smooth-Max-8 (PGD) Smooth-Mean-8 (PGD) Smooth-Max-8 (DDN) Smooth-Mean-8 (DDN) Smooth-Max-16(PGD) Smooth-Max-16(DDN) Smooth-Mean-16(DDN) Smooth-Max-8(PGD) Smooth-Mean-8(PGD) Smooth-Max-8(DDN) DDN 0.38
SmoothAdv [22] SmoothAdv [22] 0.43
Smooth-Max-16(PGD) Smooth-Mean-16 (PGD) Smooth-Max-16 (DDN) Smooth-Mean-16 (DDN) Smooth-Max-8 (PGD) Smooth-Mean-8 (PGD) Smooth-Max-8 (DDN) Smooth-Mean-8 (DDN) Smooth-Max-16(PGD) Smooth-Max-16(DDN) Smooth-Mean-16(DDN) Smooth-Max-8(PGD) Smooth-Mean-8(PGD) Smooth-Max-8(DDN) DDN 0.38
SmoothAdv [22] SmoothAdv [22] 0.43
Radii 2.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 34 39 37 47 33 37 35 42 23 Radii 2.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 34 39 37 47 33 37 35 42 23 0.45
2.5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 31 38 33 43 30 35 31 37 18 2.5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 31 38 33 43 30 35 31 37 18 0.45
1.5 0 0 0 0 0 0 0 0 0 48 52 51 59 46 50 48 54 32 37 41 42 50 36 39 39 46 26 1.5 0 0 0 0 0 0 0 0 0 48 52 51 59 46 50 48 54 32 37 41 42 50 36 39 39 46 26 0.45
1.0 0 0 0 0 0 0 0 0 0 50 54 56 61 50 53 56 59 40 38 42 46 51 38 40 44 50 29 1.0 0 0 0 0 0 0 0 0 0 50 54 56 61 50 53 56 59 40 38 42 46 51 38 40 44 50 29 0.45
3.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 28 36 28 38 27 33 25 34 16 3.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 28 36 28 38 27 33 25 34 16 0.45
3.5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3.5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.45
4.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 4.0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.45
0.0 65 64 72 72 65 65 72 72 61 57 58 66 66 57 56 66 65 51 44 44 54 55 42 45 54 54 37 0.0 65 64 72 72 65 65 72 72 61 57 58 66 66 57 56 66 65 51 44 44 54 55 42 45 54 54 37 0.45
0.5 61 63 67 69 61 62 67 68 55 54 56 61 64 54 55 61 63 47 41 44 50 53 41 43 49 53 33 0.5 61 63 67 69 61 62 67 68 55 54 56 61 64 54 55 61 63 47 41 44 50 53 41 43 49 53 33 0.45
14 14 0.42
英語(論文から抽出)日本語訳スコア
Smooth-Max rand. スムースマックスが走った。 0.30
samp. Smooth-Mean rand. サンプ Smooth-Meanが走った。 0.31
samp. Smooth-Max dense samp. サンプ Smooth-Max高密度サンプ。 0.47
Smooth-Mean dense samp. Smooth-Mean高密度サンプ。 0.55
0.8 0.6 0.4 0.8 0.6 0.4 0.39
0.2 0 y c a r u c c A e t a m i x o r p p A 0.2 0 y c a r u c c A e t a m i x o r p p A 0.38
0 0.5 Certified Radius 0 0.5 認定半径 0.46
1 1.5 2 Figure 7: Effect of Sampling Algorithm The sampling algorithm does not affect the certified accuracy in any significant manner for both Smooth-Reduce classifiers, suggesting that the only hyperparameter of consequence is the number of patches (k). 1 1.5 2 図7:サンプリングアルゴリズムの効果 サンプリングアルゴリズムは、smooth-reduce分類器の両方にとって重要な方法で認定された精度には影響せず、結果として生じる唯一のハイパーパラメータはパッチ数(k)であることを示唆している。
訳抜け防止モード: 1 1.5 2 図7:サンプリングアルゴリズムの効果 サンプリングアルゴリズムは、スムース-リデュース分類器の両方において、いかなる重要な方法でも認証精度に影響しない。 結果の唯一の超パラメータはパッチ数(k)である。
0.56
Base Smooth Classifier ベーススムース分類器 0.73
Smooth-max classifier Smooth-max 分類器 0.27
Smooth-mean classifier smooth-mean分類器 0.50
1 0.8 0.6 0.4 1 0.8 0.6 0.4 0.40
0.2 0 y c a r u c c A e t a m i x o r p p A 0.2 0 y c a r u c c A e t a m i x o r p p A 0.38
0 σ = 0.25 0 σ = 0.25 0.41
1 0.8 0.6 0.4 1 0.8 0.6 0.4 0.40
0.2 0 σ = 0.5 0.2 0 σ = 0.5 0.37
1 0.8 0.6 0.4 1 0.8 0.6 0.4 0.40
0.2 0 σ = 1.00 0.2 0 σ = 1.00 0.37
0.2 0.4 0.6 0.2 0.4 0.6 0.39
0.8 Certified Radius 1 0.8 認定半径 1 0.46
0 1.5 0.5 Certified Radius 0 1.5 0.5 認定半径 0.50
1 2 0 1 3 Certified Radius 1 2 0 1-3 認定半径 0.50
2 4 Figure 8: Confidence calibrated Smooth-Reduce 2 4 図8:信頼度調整スムースリデュース 0.55
Random Sampling versus Dense Sampling. ランダムサンプリング対密サンプリング。 0.56
In order to understand the effect of sampling, we analyse the performance of Smooth-Reduce on CIFAR-10 under two sampling schemes: (1) randomly sampling patches under an Uniform distribution, and, (2) densely sampling patches with a specific stride length. サンプリングの効果を理解するために,(1)均一分布下でランダムにパッチをサンプリングし,(2)特定のストライド長のパッチを密にサンプリングする,という2つのサンプリング方式において,smooth-reduceがcifar-10に与える影響を解析した。 0.74
Intuitively, the two sampling schemes should not affect performance given enough number of patches. 直感的には、2つのサンプリングスキームは十分な数のパッチによって性能に影響を与えるべきではない。 0.55
Fig 7 shows that this conjecture holds, with both Smooth-Max and Smooth-Mean presenting comparable performance under the two sampling schemes. 図7は、この予想が成り立つことを示し、Smooth-Max と Smooth-Mean は2つのサンプリングスキームで同等のパフォーマンスを示す。 0.63
Performance with the same number of inferences. 同じ数の推論によるパフォーマンス。 0.69
An important question that arises is if the improved certification performance is an artifact of the higher number of samples. 重要な疑問は、改善された認証性能がより多くのサンプルの成果物であるかどうかである。 0.68
We show that this is not the case by certifying SmoothAdv [22] and Smooth-Reduce with the same number of samples, N = 100k. 我々は、SmoothAdv [22] と Smooth-Reduce を同じ数のサンプル N = 100k で証明することは、そうではないことを示す。 0.79
For ensuring fair comparison, we reduce the failure rate probability rate per Smooth-Reduce sub-classifier to α = 0.01 in comparison to α = −0.001 for SmoothAdv. 公平な比較を確保するため、Smooth-Reduceサブ分類器あたりの故障確率を、SmoothAdvのα = −0.001と比較してα = 0.01に削減する。 0.72
As we observe in Fig 8, we achieve higher certified accuracies as well as better certified radii, given the same amount of compute. fig 8で観察したように、同じ計算量があれば、より高い認定アキュラリティとより優れた認定radiiを達成します。 0.59
B Video Classifiers Video classifiers come in a large variety of flavors; 3d convolutional [], hybrid conv-LSTM models [], optical flow-based models [], and others. Bビデオ分類器 ビデオ分類器には,3d畳み込み[],ハイブリッドコンブ-LSTMモデル [],光フローベースモデル [] など,さまざまなフレーバーがある。
訳抜け防止モード: Bビデオ分類器 ビデオ分類器には様々な種類があり、3d畳み込み[]がある。 ハイブリッド共振器-LSTMモデル [ ], 光流-ベースモデル [ ] など。
0.80
In this paper, we only focus on certifying pure RGB frame based models. 本稿では、純粋なRGBフレームベースモデルの認証のみに焦点を当てる。 0.79
This is both due to the models being less computationally expensive as well as achieving high benign performance without a large amount of heuristic tuning. これは、モデルが計算コストが低く、大量のヒューリスティックチューニングを伴わずに高い良性のパフォーマンスを達成するためである。 0.73
We specifically use the RGB ResNext-101 models from [7] for certifying UCF-101 videos. UCF-101ビデオの認証には,[7]からRGB ResNext-101モデルを使用する。 0.78
[7] propose a hybrid RGB-optical flow model as well, which we propose can be adapted easily to a wide variety of video classification tasks. 7]rgb-optical flowのハイブリッドモデルも提案し,多種多様なビデオ分類タスクに容易に適用できることを示す。 0.69
They train two ResNext-101 modesl with 3D convolutions, the first on RGB frame chunks, and, the second on optical flow representations. 2つのResNext-101モードを3D畳み込みでトレーニングし、最初のRGBフレームチャンクと2番目の光学フロー表現をトレーニングした。 0.63
We just use the first model for certification. 認証には最初のモデルのみを使用します。 0.69
However, randomised smoothing for such jointly trained multi-model classifiers is a separate and interesting technical discussion in itself. しかし、そのような共同訓練されたマルチモデル分類器に対するランダム化平滑化は、それ自体で独立した興味深い技術的議論である。 0.49
15 15 0.43
英語(論文から抽出)日本語訳スコア
Training. For training, we initialize our ResNext-101 with weights from the model in [7] pretrained on the Kinetics dataset. 訓練だ トレーニングのために、Kineeticsデータセットで事前トレーニングされた[7]モデルからの重みでResNext-101を初期化します。 0.67
We then train the 3D CNN with 8 or 16 frame chunks from the UCF-101 training set. 次に、UCF-101トレーニングセットから8または16フレームのチャンクで3D CNNをトレーニングします。 0.73
Following [7], we use SGD with weight decay of 0.0005, momentum of 0.9, and initial learning rate of 0.1. 7]に従うと、重量減衰0.0005、運動量0.9、初等学習率0.1のSGDを用いる。 0.71
In order to make the classifiers robust to Gaussian noise, we also use Gaussian noise augmentation similar to [6]. 分類器をガウス雑音に頑健にするために, [6] と同様のガウス雑音拡張を用いる。 0.64
Further, we also use the noise-variance scheduling scheme presented in [22], by slowly incrementing noise from 0 to the required noise levels every 20 epochs. さらに, 0 から 20 時間毎に必要な雑音レベルに徐々に雑音を増すことにより, [22] で示される雑音分散スケジューリング手法を用いる。 0.85
For inference, the video classifier averages the logits of non-overlapping 8 or 16 frame chunks sequentially sampled from the video stream. 推論のために、ビデオ分類器は、ビデオストリームから順次サンプリングされた、重複しない8または16のフレームチャンクのログを平均化する。 0.54
A pictorial depiction can be seen in Fig 9. 図9に絵が描かれている。 0.61
We used the first train split and the first test split for training and testing our model, respectively. モデルのトレーニングとテストに、最初の列車分割と最初のテスト分割を使いました。 0.71
Our base model achieves ∼ 86% benign accuracy on the testset. ベースモデルでは,テストセットの精度が86%向上した。 0.75
For Smooth-Reduce prediction, we follow the procedure presented above in Sec. 4.2 by modifying the inference step. Smooth-Reduce 予測は Sec.2 で示した手順に従って推論ステップを変更する。 0.65
We first sample k overlapping sub-videos from the original test video-stream. まず、元のテストビデオストリームからkオーバーラップしたサブビデオをサンプリングする。 0.53
For our experiments, we use 64 and 128 frame subvideos. 実験には64フレームと128フレームのサブビデオを使用しました。 0.62
Next, we create n copies for each sub-video and run the base video inference described above with 16 or 8 frame chunks for each noisy copy. 次に、サブビデオ毎にn個のコピーを作成し、上記のベースビデオ推論を実行し、ノイズのあるコピー毎に16フレームまたは8フレームのチャンクを出力する。 0.58
The predictions are then aggregated over the copies using the selected AGGREGATE (max/mean) Smooth-Reduce methods. 次に、選択したAGGREGATE (max/mean) Smooth-Reduce法を用いて、予測をコピー上に集約する。
訳抜け防止モード: 予測はコピーに集約される 選択した AGGREGATE (max / mean ) Smooth - Reduce メソッドを使用する。
0.68
The algorithm then returns the class with the largest count. するとアルゴリズムは最大のカウントでクラスを返します。 0.84
We show results of this in Fig 10 for noise varinaces of 0.25, 0.5, and 1.0. ノイズ変数0.25,0.5,1.0については,図10に示す。 0.69
Notice that while the certified radii are still somewhat low, Smooth-Reduce outperforms standard Randomized smoothing, certifying not only larger radii but also providing greater certified accuracies. 認定されたradiiは若干低いが、smooth-reduceは標準のランダム化平滑化よりも優れており、より大きなradiiだけでなく、認定されたaccurabilityも提供する。 0.53
We also see that higher chunk sizes and sub-video sizes result in better certification performance in terms of certified accuracy. また、より高いチャンクサイズとサブビデオサイズが、認証精度の点で、より良い認証性能をもたらすこともわかっています。 0.53
Figure 9: Smooth-Reduce for Videos: Video classifiers include averaging over frames or chunks of frames. 図9: Smooth-Reduce for Videos: ビデオ分類器は、フレームまたはフレームの塊の平均化を含む。 0.75
Observing that larger chunk sizes provide better certificates, Smooth-Reduce takes this a step further by first sampling overlapping sub-videos with 4 or 8 chunks of 16 frames each. より大きなチャンクサイズがより良い証明書を提供するのを見て、Smooth-Reduceは、まず16フレームの4~8チャンクのオーバーラップサブビデオをサンプリングする。 0.60
We then aggregate the smooth predictions over sub-videos. そして、サブビデオ上でスムーズな予測を集約します。 0.50
16 16 0.43
英語(論文から抽出)日本語訳スコア
y c a r u c c A e t a m i x o r p p A y c a r u c c A e t a m i x o r p p A 0.42
0.8 0.6 0.4 0.8 0.6 0.4 0.39
0.2 0 y c a r u c c A e t a m i x o r p p A 0.2 0 y c a r u c c A e t a m i x o r p p A 0.38
0.8 0.6 0.4 0.8 0.6 0.4 0.39
0.2 0 σ = 0.25 0.2 0 σ = 0.25 0.37
y c a r u c c A e t a m i x o r p p A y c a r u c c A e t a m i x o r p p A 0.42
0.4 0.2 0 Standard RS-16 0.4 0.2 0 標準RS-16 0.48
Smooth-Max-(64,16) Smooth-Mean-(64,16) Smooth-Max-(64,16) Smooth-Mean-(64,16) 0.31
Standard RS-8 Smooth-Max-(64,8) Smooth-Mean-(64,8) 標準RS-8 Smooth-Max-(64,8) Smooth-Mean-(64,8) 0.47
σ = 0.5 σ = 1.00 σ = 0.5 σ = 1.00 0.39
0.15 0.1 5 · 10−2 0.15 0.1 5 · 10−2 0.33
0 0.8 0 0.5 0 0.8 0 0.5 0.36
1 Certified Radius 0 0.1 0.3 Certified Radius 1 認定半径 0 0.1 0.3 認定半径 0.53
0.2 0.4 0 0.2 0.6 Certified Radius 0.2 0.4 0 0.2 0.6 認定半径 0.47
0.4 Standard RS-8) 0.4 標準RS-8) 0.63
Smooth-Max-(64,8) Smooth-Mean-(64,8) Smooth-Max-(64,8) Smooth-Mean-(64,8) 0.31
Standard RS-(128,8) Smooth-Max-(128,8) Smooth-Mean-(128,8) 標準RS-(128,8)Smooth-Max -(128,8)Smooth-Mean- (128,8) 0.33
·10−2 σ = 0.5 ·10−2 σ = 0.5 0.31
σ = 0.25 y c a r u c c A e t a m i x o r p p A σ = 0.25 y c a r u c c A e t a m i x o r p p A 0.41
0.4 0.2 0 σ = 1.00 0.4 0.2 0 σ = 1.00 0.42
8 6 4 2 0 0 8 6 4 2 0 0 0.43
0.1 Certified Radius 0.3 0.1認定半径 0.3 0.50
0.2 0.4 0.5 0.2 0.4 0.5 0.39
0 0.2 0.6 Certified Radius 0 0.2 0.6 認定半径 0.50
0.4 0.8 0 0.5 0.4 0.8 0 0.5 0.40
1 Certified Radius 1.5 1 認定半径 1.5 0.56
1.5 Figure 10: Additional video results. 1.5 図10: 追加のビデオ結果。 0.70
Notice that Smooth-Mean certifies larger radii while presenting higher certified accuracies. Smooth-Meanは、高い認証精度を示しながら、より大きなラジイを認定する。 0.51
Another point of interest is that larger sub-videos and larger chunks show better certification performance. 別の興味深い点は、より大きなサブビデオと大きなチャンクが、より良い認証性能を示していることだ。
訳抜け防止モード: もう一つの興味深い点は より大きなサブ - ビデオと大きなチャンクは、より良い認証性能を示す。
0.57
Model nomenclature is as follows; for standard randomized smoothing, models are named as Standard RS-CHUNK-SIZE; for Smooth-Reduce, we use Smooth-{max/mean}-SUB-VIDEO SIZE, CHUNK SIZE, in terms of number of frames. 標準ランダム化平滑化では、モデルを標準rs-chunkサイズと命名し、smooth-reduceでは、フレーム数の観点からsmooth-{max/mean}-sub-videoサイズ、チャンクサイズを使用する。 0.72
17 17 0.42
英語(論文から抽出)日本語訳スコア
C Deferred Theorems and Proofs Theorem 3 (Smooth-Max classifiers certify larger radii). c 延期定理と証明 Theorem 3 (Smooth-Max分類器はより大きな半径を証明している)。 0.60
Let ˆf and ¯f be the standard RS classifier and the Smooth-Max classifier as defined, if R ˆf and R ¯f represent the certified radii for the two classifiers for a specific input, x, then s を標準 rs 分類器とし、smooth-max 分類器を定義通りとする、もし r/f と r/f が特定の入力 x に対する 2 つの分類器の認定基数を表すならば、 0.72
for all x. R ¯f ≥ R ˆf すべてのXのために R-f ≥ R-f 0.68
Proof. Assume that the correct class predicted by both ˆf and ¯f is A. Let pA be the probability estimate for the ˆf smooth classifier, and p′ We make a minor assumption here, that the input set is large enough that it contains the original image, xc = x. 証明。 pA を滑らかな分類器の確率推定とし、p′ ここでは、入力集合が元の像 xc = x を含むほど大きいと仮定する。
訳抜け防止モード: 証明。 af と af の両方によって予測される正しいクラスが A であると仮定する。 pA は滑らかな分類器の確率推定である。 p′ 私たちはここで小さな仮定をします 入力集合は元のイメージ xc = x を含むほどの大きさである。
0.71
This can be easily enforced by appending the original image to the input set. これは入力セットに元のイメージを追加することで簡単に強制できる。 0.72
Now, A be that for ¯f4 for n samples. いま。 n 個のサンプルに対して、f4 が成り立つ。 0.60
(cid:80)n (cid:80)n (cid:80)n (cid:80)n 0.41
= 1 n pA p′ A = 1 n = 1n pa p′ a = 1 n である。 0.52
j=1 f (xc + zj) j=1 f (xc + zj) 0.94
j=1 maxi f (xi + zj) j=1 maxi f (xi + zj) 0.48
(5) (6) , where xc refers to the center-crop of the resized x. (5) (6) ここで xc は、再サイズ x の中心頭皮を指す。 0.61
By definition, p′ A will always be greater than or equal to pA. 定義により p′ A は常に pA よりも大きいか等しい。 0.79
Therefore, the above statement holds true. したがって、上記の主張は真である。 0.69
We also prove that Smooth-Reduce classifiers have a lower failure probability for a given perturbation δ. また、Smooth-Reduce分類器が与えられた摂動δの失敗確率が低いことも証明する。 0.68
Theorem 4 (Smooth-Reduce confidence bounds). 定理 4 (smooth-reduce confidence bounds)。 0.37
Let ˆf and ¯f be the smooth and Smooth-Reduce classifiers defined above. sf と sf を滑らかかつ滑らかな Smooth-Reduce 分類器とする。 0.55
Let fi be the sub-classifiers in ¯f. fi を f のサブクラスとする。 0.58
Let R be the certified radius for ¯f w derived using the Smooth-Reduce CERTIFY subroutine with n samples and k patches, with probability α1. R を、n 個のサンプルと k 個のパッチを持つ Smooth-Reduce CERTIFY subroutine を用いて、確率 α1 の確率で導出される f w の認定半径とする。 0.63
Let Ri, i = 1 : k be the same for the sub-classifiers, fi, derived using standard smoothing certification with n samples with probability α. ri, i = 1 : k を、確率 α の n 個のサンプルによる標準平滑化証明を用いて派生した部分分類子 fi に対して同じとする。
訳抜け防止モード: Ri, i = 1 : k を部分分類器で同じとする。 確率 α の n サンプルを用いた標準平滑化証明を用いて導出する。
0.86
Then, for Smooth-Mean classifiers, α1 ≤ e−kα(2eα)k/2 そして、Smooth-Mean分類について、α1 ≤ e−kα(2eα)k/2 0.56
Proof. Assume that our Smooth-Mean classifer, ¯f CERTIFY method returns some certified radius, R with the correct class, A for the given number of samples, N and patches, p. 証明。 我々の Smooth-Mean classifer, ~f CERTIFY メソッドが正しいクラスを持つ証明された半径 R、与えられたサンプル数 N とパッチ数 p に対して A を返すと仮定する。 0.71
Further, we can use CERTIFY from [6] to estimate certified radii, Ri, for each of the subclassifiers, fi in ¯f. さらに、[6] から CERTIFY を用いて証明された radii, Ri を、各部分分類器 , fi の f に対して推定することができる。 0.70
We assume here that the hard-classifier ensemble and the soft ensemble (that Smooth-Mean uses) are equivalent. ここでは,ハードクラス化アンサンブルとソフトアンサンブル(スムース平均が使用する)が等価であると仮定する。 0.50
Under this assumption, as Smooth-Mean relies on majority vote, in order for x + δ to be an adversarial example, we need at least half of the classifiers to fail. この仮定の下で、Smooth-Mean は多数決に依存するので、x + δ が逆例となるためには、少なくとも半数の分類器が失敗する必要がある。 0.69
To analyse this, let mi be a Bernoulli random variable such that it takes the value 1 if classifier fi fails and 0 otherwise. これを分析するために、m をベルヌーイ確率変数とし、分類器 fi が失敗し 0 がなければ値 1 を取るようにする。 0.66
Thus, Therefore, for x + δ to be an adversarial example, したがって したがって、x + δ を逆の例とする。 0.72
P[∥δ∥ < R] = P[ r は p[ ] = p[ である。 0.72
k(cid:88) i=1 k(cid:88) i=1 である。 0.36
mi ≥ k/2] P[∥δ∥ < Ri] = P[mi = 1] = α mi ≥ k/2] p[\δ] <ri] = p[mi = 1] = α である。 0.62
Using a Chernoff bound [30, Thm. 2.3.1] for the sum of independent Bernoulli random variables, we get; 独立ベルヌーイ確率変数の和に[30, Thm. 2.3.1] を用いると、得られる。 0.63
k(cid:88) P[ k(cid:88) P[ 0.42
mi ≥ k/2] ≤ e−kα(2eα)k/2 mi ≥ k/2] ≤ e−kα(2eα)k/2 0.32
Note that this function decays very quickly with k, and therefore can be easily tuned to get better confidence bounds. この関数は k で非常に早く減衰するため、より優れた信頼境界を得るために簡単に調整できる。 0.79
While our approach relies on analysing a specific version of the adversarial example which attacks all classifiers simultaneously, we recognize that this might not be the case in general. 提案手法は,全ての分類器を同時に攻撃する逆数例の特定のバージョンを解析することに依存するが,一般にはそうではない可能性がある。 0.68
For example, another attack may presume to make the classifier abstain every time. 例えば、別のアタックは、クラス化子を毎回棄権させる可能性がある。 0.64
We do not analyse this case here, and leave the details to future work. このケースはここでは分析せず、詳細は今後の作業に任せます。 0.75
i=1 18 i=1 である。 18 0.37
英語(論文から抽出)日本語訳スコア
C.1 Analysing Logits under Smooth-Reduce Ensembling C.1 Smooth-Reduce によるロジット解析 0.48
We further validate our claims regarding confidence intervals of Smooth-Reduce certificates by analysing the logit distribution for standard RS and Smooth-Reduce classifiers. 標準RSおよびSmooth-Reduce分類器のロジット分布を分析し,Smooth-Reduce証明書の信頼性区間に関する我々の主張をさらに検証する。 0.69
Setup: We study the distributions of logits for the most probable and the second most probable class for standard RS and Smooth-Reduce classifiers. 設定: 標準RSおよびSmooth-Reduce分類器において、最も確率が高く、2番目に確率の高いクラスに対するロジットの分布について検討する。 0.63
For this, we consider a few test datapoints for both images, and videos and certify the best SmoothAdv classifier. このため、画像とビデオの両方のテストデータポイントをいくつか検討し、最高のSmoothAdv分類器を認定する。 0.73
Further, we certify both Smooth-Max and Smooth-Mean classifiers under the same setup. さらに,Smooth-MaxとSmooth-Meanを同一設定で認証する。 0.74
We then plot histograms of the distributions of logits. 次に、ロジットの分布のヒストグラムをプロットする。 0.71
Fig 11 and Fig 12 show exemplars of generated histograms. fig 11とfig 12は、生成したヒストグラムの例示を示す。 0.66
Observations and Inferences. Notice that the certified radius, R from Eq 2 is proportional to the difference in the estimated probabilities of the two most probable classes. 観察と推測。 eq 2 からの認定半径 r は、2 つの最も可能性の高いクラスの推定確率の差に比例していることに注意。 0.71
This difference is also proportional to the classifier margin. この差は分類器のマージンにも比例する。 0.79
Therefore, in order to get better certificates, we need to ensure that the smooth-classifier presents large margins, as well higher probability estimate for the true class, cA. したがって、より良い証明を得るためには、スムーズな分類器が大きなマージンを示し、真のクラスであるcAに対して高い確率推定を行う必要がある。 0.71
Also, in order to reduce abstentions, pA > 1/2 and its variance must be low. また、吸収を減らすために、pA > 1/2とその分散は低くなければならない。 0.63
We see that Smooth-Max and Smooth-Mean outperform SmoothAdv on both these criterion in Fig 11. Smooth-MaxとSmooth-Meanはいずれも、図11でSmoothAdvよりも優れています。 0.69
Notice here that R depends on the difference between the means of the distribution for the most probable class (blue) and the second most probable class (orange). ここでは、R は最も確率的なクラス (blue) と 2番目の確率的なクラス (orange) の分布の手段の違いに依存している。 0.84
We see that while Smooth-Max outperforms SmoothAdv in terms of the overall proabability estimate, the margin itself is not improved much. Smooth-MaxはSmoothAdvを総合的な確率推定で上回っているが、マージン自体はあまり改善されていない。 0.68
This may lead to higher abstention rates as well as lower certificates. これは高い棄権率と低い証明書につながる可能性がある。 0.62
However, Smooth-Mean showcases not only higher estimates of pA but also a lower variance, thus improving upon both the certified radius and probability of abstention. しかし、Smooth-MeanはpAのより高い推定だけでなく、低い分散も示しており、認証された半径と禁忌の確率の両方で改善されている。 0.62
Figure 11: Logit Distributions for Smooth Classifiers for CIFAR-10.The histograms are arranged as follows: (L) SmoothAdv classifier, (M) Smooth-Max classifier, and (R) Smooth-Mean classifier. 図11: CIFAR-10のスムーズ分類器のログ分布: (L) SmoothAdv分類器、(M) Smooth-Max分類器、(R) Smooth-Mean分類器。 0.78
The blue bars the logits for the most probable class, while the orange represent those for the second-most probable class. ブルーバーはロジットを最も可能性の高いクラスに、オレンジは2番目に可能性の高いクラスを表す。 0.79
For good smooth classifiers, the blue peak should be at 1.0 with low variance and the orange peak should be close to 0. 良質な分類器では、青色ピークは1.0で低分散で、オレンジピークは0に近いはずである。 0.70
Observe that Smooth-Max is performs better than SmoothAdv on the first criterion, while Smooth-Mean performs better on both. Smooth-Maxは最初の基準でSmoothAdvよりもパフォーマンスが良く、Smooth-Meanは両方でパフォーマンスが良くなっている。 0.75
For an exemplar certificate in the case of video classifiers, we immediately observe similar behavior. ビデオ分類器の場合の例証の場合、我々は即座に同様の行動を観察する。 0.69
In Fig 12, we observe logit distributions for two examples from the UCF-101 dataset. 図12では、utf-101データセットからの2つの例についてロジット分布を観察した。 0.51
It is clearly evident that while Smooth-Max and Smooth-Mean provide better margins and lower variance than standard randomized smoothing. Smooth-Max と Smooth-Mean は標準的なランダム化平滑化よりも良いマージンと低い分散をもたらすことは明らかである。 0.71
However, the logit values are still skewed lower than those for images, and the variance across the logit values is fairly higher. しかし、ロジット値はまだ画像よりも低く歪められており、ロジット値のばらつきはかなり高い。 0.52
This explains why our video certificates are far lower than image certificates. これは、ビデオ証明書が画像証明書よりもはるかに低い理由を説明する。 0.56
We conjecture that this is an effect of the difficulty in training noise-robust 3D CNN models for video. これは,映像用3次元CNNモデルのトレーニングの難しさによるものであると推測する。 0.71
However, we leave exploring this phenomenon to future work. しかし、我々はこの現象を将来の研究に任せる。 0.72
C.2 Some Additional Discussion on Confidence Intervals for Ensembling C.2 センシムリングの信頼区間に関する議論 0.36
We also reproduce some results by [11] which support increasing success rates for Smooth-Mean. また,Smooth-Meanの成功率向上を支援する[11]の結果を再現する。 0.76
Horvath et al [11] analyse the following soft ensemble classifier, horvath et al [11] 次のソフトアンサンブル分類器を分析する。 0.69
¯f (x) = 1 k シュフ(x) = 1k 0.46
fi(x). fi(x) である。 0.77
k(cid:88) i=1 k(cid:88) i=1 である。 0.36
Let yi be the logits from each of the sub-classifiers, fi, and y be the same for the ensembled classifier. yi を各サブ分類器のロジットとし、fi と y をアンサンブルされた分類器で同じとする。 0.69
They further model yi = yi,c + yi,p, where yi,c is a random variable representing the contribution of the ith sub-classifier and yi,p represents the contribution due to random noise added during randomized smoothing. さらに yi = yi,c + yi,p をモデル化し、yi,c は ith サブクラス化子の寄与を表す確率変数であり、yi,p はランダム化平滑化中に付加されるランダムノイズによる寄与を表す。 0.79
Further they assume, E[yi,c] = c and E[yi,p] = 0. さらに、E[yi,c] = c と E[yi,p] = 0 と仮定する。 0.80
The variance of yp is assumed to be Σp where Σii = σ2 i , and Σij = σiσjρij. yp の分散は、Σii = σ2 i で Σij = σiσjρij と仮定される。 0.73
This holds as the two これは2つとして成り立つ 0.65
19 19 0.42
英語(論文から抽出)日本語訳スコア
Figure 12: Logit Distributions for Smooth Classifiers for UCF-101. 図12: UCF-101のスムース分類器のログ分布 0.86
(L) shows logit distributions for standard randomized smoothing, (M) and (R) show the same for Smooth-Max and Smooth-Mean respectively. (L) は標準ランダム化平滑化のためのロジット分布を示し, (M) と (R) はSmooth-Max と Smooth-Mean にそれぞれ同じ分布を示す。 0.74
Observe that in comparison with image classifiers, RS and Smooth-Reduce with video classifiers leads to lower pA estimates as well as high variance. 画像分類器と比較して、RSとSmooth-Reduceをビデオ分類器と比較すると、pA推定は低く、ばらつきも大きい。 0.68
This results in lower certified radii and higher abstention rates as seen in Fig 6. その結果、第6図に示すように、低い認定基数、高い吸収率が得られる。 0.57
However, Smooth-Mean still outperforms SmoothAdv. しかし、smooth-meanはsmoothadvよりも優れている。 0.46
processes of training and smoothing are independent. トレーニングと平滑化のプロセスは 独立しています 0.66
Notice that Smooth-Mean classifiers are a special class of such classifiers, where the sub-classifiers are constructed with independent sampling matrices. smooth-mean分類器はそのような分類器の特別なクラスであり、サブ分類器は独立したサンプリング行列で構成される。 0.65
Now, they analyse the class margins, ti = y1 − y1 where yi are elements of y and 1 is the majority class (WLOG). このとき、それらはクラスマージン、ti = y1 − y1 を解析し、yi は y の元であり、1 は多数派クラス(wlog)である。 0.65
Notice, Var[ti] = σ2 気を付けて Var[ti] = σ2 0.36
p,1 + σ2 p,i + σ2 p,1 + σ2 p,i + σ2 0.42
c,1 + σ2 E[zi] = c1 − ci c,i − 2σp,1σp,iρp1, i − 2ρc, 1iσ + c, 1σc, i c,1 + σ2 E[zi] = c1 − ci c, i − 2σp, 1σp, iρp1, i − 2ρc, 1iσ + c, 1σc, i 0.35
Through careful arithmetic, they show that, 注意深い算術を通じて、彼らはそれを示します。 0.41
Var(¯t) = σ2 var( σt) = σ2 である。 0.53
p(k) + σ2 c (k), p(k) + σ2 c (k) である。 0.62
(σ2 m = p,1 + σ2 (σ2 m = p,1 + σ2 0.40
k+(k 2)ζm k2 k+(k2)→m k2 0.82
p,i − 2ρp,1iσp, 1σp,i for m ∈ [p, c], and ζm ∈ [0, 1] refers to parameter denoting p,i − 2ρp,1iσp,1σp,i は m ∈ [p, c] に対して、1 はパラメータを意味する。 0.86
where σ2 covariance between yi,m and yj,m; refer [11] for more details. ここで σ2 は yi,m と yj,m の共分散であり、詳細は [11] を参照。 0.76
This decoupling of the variance between the perturbations due to RS and ensembling proves to be important in understanding the benefits of ensembling. この rs と ensembling による摂動のばらつきの分離は、ensembling の利点を理解する上で重要であることが証明されている。 0.69
They present the following result on success probabilities, Informal Theorem[From [11]] For a soft-ensemble of k classifiers which provides a certificate with radius R with probability 1 − α1, the upper bound of the probability of failure decreases with O(k2) To measure the effect on success probability, we consider the probability of a majority of the sub-classifiers predicting class 1, β1. 彼らは成功確率について以下の結果を示す: Informal Theorem[From [11]] 確率 1 − α1 の半径 R の証明を与える k 分類器のソフトアンサンブルの場合、失敗確率の上限は O(k2) で減少する。
訳抜け防止モード: 彼らは成功確率について以下の結果を示す: Informal Theorem[From [ 11 ] ] for a soft-enmble of k classifiers which provides a certificate with radius R with probability 1 − α1。 失敗の確率の上限は O(k2 ) で減少する 成功確率に対する影響を測定する。 クラス 1 を予測している部分分類器の大多数の確率を考える。
0.89
(cid:90) β1 = P( ¯f (x + z) = 1) = P(¯t > 0 : ∀i ∈ [2, C]) = (cid:90) β1 = p(x + z) = 1) = p(x, z) = p(x, z) = p(x, z) = p(x, z) である。 0.51
¯z>0:∀i∈[2,C] z>0:<i>[2,c] である。 0.66
P(¯t). P (複数形 Ps) 0.53
d¯z While this integral cannot be evaluated directly as we do not know the density function for z, we can lower bound β1 using Chebyshev’s inequality and the union bound over the incorrect [2, C] classes. 通称「d」。 この積分は z の密度関数を知らないので直接評価することはできないが、チェビシェフの不等式と不正確な [2, C] クラス上の和集合を用いて、境界 β1 を下げることができる。 0.47
β1 ≥ 1 − C(cid:88) β1 ≥ 1 − C(cid:88) 0.44
i=1 (σi,c(k)2 + σi,p(k)2 i=1 である。 (σi,c(k)2 + σi,p(k)2) 0.40
(c1 − ci)2 (c1 − ci)2 0.49
. As σi,c and σi,k decrease quadratically with increasing k, we can prove the above theorem. . σi,c と σi,k は k の増加とともに二次的に減少するので、上記の定理を証明できる。 0.52
20 20 0.43
                                         ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。