論文の概要: Towards Practical Certifiable Patch Defense with Vision Transformer

• arxiv url: http://arxiv.org/abs/2203.08519v1
• Date: Wed, 16 Mar 2022 10:39:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 14:16:07.519208
• Title: Towards Practical Certifiable Patch Defense with Vision Transformer
• Title（参考訳）: 視覚トランスフォーマを用いた実用的パッチ防御法の開発
• Authors: Zhaoyu Chen, Bo Li, Jianghe Xu, Shuang Wu, Shouhong Ding, Wenqiang Zhang
• Abstract要約: 視覚変換器(ViT)を非ランダム化平滑化(DS)の枠組みに導入する。 実世界における効率的な推論と展開のために,我々は,オリジナルViTのグローバルな自己アテンション構造を,孤立バンド単位の自己アテンションに革新的に再構築する。
• 参考スコア（独自算出の注目度）: 34.00374565048962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Patch attacks, one of the most threatening forms of physical attack in adversarial examples, can lead networks to induce misclassification by modifying pixels arbitrarily in a continuous region. Certifiable patch defense can guarantee robustness that the classifier is not affected by patch attacks. Existing certifiable patch defenses sacrifice the clean accuracy of classifiers and only obtain a low certified accuracy on toy datasets. Furthermore, the clean and certified accuracy of these methods is still significantly lower than the accuracy of normal classification networks, which limits their application in practice. To move towards a practical certifiable patch defense, we introduce Vision Transformer (ViT) into the framework of Derandomized Smoothing (DS). Specifically, we propose a progressive smoothed image modeling task to train Vision Transformer, which can capture the more discriminable local context of an image while preserving the global semantic information. For efficient inference and deployment in the real world, we innovatively reconstruct the global self-attention structure of the original ViT into isolated band unit self-attention. On ImageNet, under 2% area patch attacks our method achieves 41.70% certified accuracy, a nearly 1-fold increase over the previous best method (26.00%). Simultaneously, our method achieves 78.58% clean accuracy, which is quite close to the normal ResNet-101 accuracy. Extensive experiments show that our method obtains state-of-the-art clean and certified accuracy with inferring efficiently on CIFAR-10 and ImageNet.
• Abstract（参考訳）: パッチ攻撃は、敵の例で最も危険な物理的攻撃の1つであり、連続した領域でピクセルを任意に修正することで、ネットワークが誤分類を引き起こす可能性がある。 証明可能なパッチ防御は、分類器がパッチ攻撃の影響を受けないことを保証する。 既存の認証パッチ防御は、分類器のクリーンな精度を犠牲にし、おもちゃのデータセットに対して低い認証精度しか得られない。 さらに、これらの手法のクリーンで認定された精度は、実際の応用を制限する通常の分類ネットワークの精度よりもはるかに低い。 実用的なパッチ防御に向けて,視覚トランスフォーマー(vit)を非ランダム化平滑化(ds)の枠組みに導入する。 具体的には,世界的意味情報を保存しつつ,画像のより識別可能な局所的文脈をキャプチャできる視覚トランスフォーマーを訓練するためのプログレッシブ平滑化画像モデリングタスクを提案する。 実世界における効率的な推論と展開のために,我々は,オリジナルViTのグローバルな自己アテンション構造を,孤立バンド単位の自己アテンションに革新的に再構築する。 ImageNetでは、2%以下のエリアパッチ攻撃で41.70%の認証精度が達成され、以前のベストメソッド(26.00%)よりも1倍近く向上した。 同時に,通常のResNet-101の精度に非常に近い78.58%のクリーン精度を達成した。 CIFAR-10 と ImageNet を効率よく推定することにより,最先端のクリーンで精度の高い精度が得られることを示す。

関連論文リスト

• Patch-Level Contrasting without Patch Correspondence for Accurate and Dense Contrastive Representation Learning [79.43940012723539]
  ADCLRは、正確で高密度な視覚表現を学習するための自己教師型学習フレームワークである。 提案手法は, コントラッシブな手法のための新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-23T07:38:09Z)
• Improving the Accuracy-Robustness Trade-Off of Classifiers via Adaptive Smoothing [9.637143119088426]
  正誤例に対する頑健な基本分類器の信頼性差が,この改良の鍵となることを示す。 逆入力検出器を2つのベースモデルの混合を適応的に調整する混合ネットワークに適応させる。 提案したフレキシブルな手法は「適応的平滑化(adaptive smoothing)」と呼ばれ、クリーンな精度、堅牢性、あるいは敵検出を改善する既存のあるいは将来の方法と連携して機能する。
  論文  参考訳（メタデータ） (2023-01-29T22:05:28Z)
• (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
  逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。 これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
  論文  参考訳（メタデータ） (2022-06-21T17:27:27Z)
• PatchCensor: Patch Robustness Certification for Transformers via Exhaustive Testing [7.88628640954152]
  Vision Transformer (ViT)は、他の古典的ニューラルネットワークと同様に非常に非線形であることが知られており、自然なパッチの摂動と逆パッチの摂動の両方によって容易に騙される。 この制限は、特に安全クリティカルなシナリオにおいて、実際の産業環境におけるViTの展開に脅威をもたらす可能性がある。 PatchCensorを提案する。このPatchCensorは、徹底的なテストを適用することで、ViTのパッチ堅牢性を証明することを目的としている。
  論文  参考訳（メタデータ） (2021-11-19T23:45:23Z)
• ScaleCert: Scalable Certified Defense against Adversarial Patches with Sparse Superficial Layers [29.658969173796645]
  本稿では,高解像度画像に対して高い堅牢性を実現するための認証された防御手法を提案する。 我々は、SINベースの圧縮技術を利用して、認証精度を大幅に向上する。 実験の結果,ImageNetデータセットの精度は36.3%から60.4%に向上した。
  論文  参考訳（メタデータ） (2021-10-27T02:05:00Z)
• Certified Patch Robustness via Smoothed Vision Transformers [77.30663719482924]
  視覚変換器を用いることで、認証済みのパッチの堅牢性が大幅に向上することを示す。 これらの改善は、視覚変換器が主にマスクされた画像を優雅に扱う能力に起因している。
  論文  参考訳（メタデータ） (2021-10-11T17:44:05Z)
• PatchCleanser: Certifiably Robust Defense against Adversarial Patches for Any Image Classifier [30.559585856170216]
  画像分類モデルに対する逆パッチ攻撃は、局所化された制限された画像領域(すなわち、パッチ)に逆向きに作られたピクセルを注入することを目的としている。 我々はPatchCleanserを,任意の画像分類モデルと互換性のある敵パッチに対する堅牢な防御法として提案する。 我々は,ImageNet, ImageNette, CIFAR-10, CIFAR-100, SVHN, Flowers-102データセットに対する防御効果を広く評価した。
  論文  参考訳（メタデータ） (2021-08-20T12:09:33Z)
• How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
  我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。 本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。 我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
  論文  参考訳（メタデータ） (2020-12-02T15:30:21Z)
• (De)Randomized Smoothing for Certifiable Defense against Patch Attacks [136.79415677706612]
  我々は、所定の画像とパッチ攻撃サイズを保証する、パッチ攻撃に対する認証可能な防御を導入する。 本手法はランダム化スムースなロバスト性スキームの幅広いクラスに関係している。 その結果,CIFAR-10およびImageNetに対するパッチ攻撃に対する認証済みの防御技術が確立した。
  論文  参考訳（メタデータ） (2020-02-25T08:39:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。