論文の概要: On the Adversarial Robustness of Visual Transformers

• arxiv url: http://arxiv.org/abs/2103.15670v1
• Date: Mon, 29 Mar 2021 14:48:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 15:28:09.873614
• Title: On the Adversarial Robustness of Visual Transformers
• Title（参考訳）: 視覚トランスフォーマーの逆ロバスト性について
• Authors: Rulin Shao, Zhouxing Shi, Jinfeng Yi, Pin-Yu Chen, Cho-Jui Hsieh
• Abstract要約: 本研究は、視覚変換器(ViT)の対逆的摂動に対する堅牢性に関する最初の包括的な研究を提供する。 さまざまなホワイトボックスとトランスファーアタック設定でテストされた ViT は、畳み込みニューラルネットワーク (CNN) と比較して、より優れた敵対的堅牢性を持っています。
• 参考スコア（独自算出の注目度）: 129.29523847765952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Following the success in advancing natural language processing and understanding, transformers are expected to bring revolutionary changes to computer vision. This work provides the first and comprehensive study on the robustness of vision transformers (ViTs) against adversarial perturbations. Tested on various white-box and transfer attack settings, we find that ViTs possess better adversarial robustness when compared with convolutional neural networks (CNNs). We summarize the following main observations contributing to the improved robustness of ViTs: 1) Features learned by ViTs contain less low-level information and are more generalizable, which contributes to superior robustness against adversarial perturbations. 2) Introducing convolutional or tokens-to-token blocks for learning low-level features in ViTs can improve classification accuracy but at the cost of adversarial robustness. 3) Increasing the proportion of transformers in the model structure (when the model consists of both transformer and CNN blocks) leads to better robustness. But for a pure transformer model, simply increasing the size or adding layers cannot guarantee a similar effect. 4) Pre-training on larger datasets does not significantly improve adversarial robustness though it is critical for training ViTs. 5) Adversarial training is also applicable to ViT for training robust models. Furthermore, feature visualization and frequency analysis are conducted for explanation. The results show that ViTs are less sensitive to high-frequency perturbations than CNNs and there is a high correlation between how well the model learns low-level features and its robustness against different frequency-based perturbations.
• Abstract（参考訳）: 自然言語処理と理解の進歩の成功に続いて、トランスフォーマーはコンピュータビジョンに革命的な変化をもたらすことが期待されている。 この研究は、視覚変換器(ViT)の対向摂動に対する堅牢性に関する、初めてかつ包括的な研究を提供する。 様々なホワイトボックスとトランスファー攻撃設定でテストしたところ、畳み込みニューラルネットワーク(CNN)と比較して、ViTsはより良い敵の堅牢性を持つことがわかった。 1) ViTsが学習した特徴は低レベル情報が少なく、より一般化可能であり、敵の摂動に対する優れた強靭性に寄与する。 2)ViTの低レベル特徴を学習するための畳み込み・トークン・ツー・トークンブロックの導入により,分類精度は向上するが,対向ロバスト性は低下する。 3) モデル構造における変圧器の割合の増大(モデルが変圧器とCNNブロックの両方で構成されている場合)により、より堅牢性が向上する。 しかし、純粋なトランスフォーマーモデルでは、単にサイズを増やしたりレイヤーを追加するだけでは、同様の効果を保証できない。 4) 大規模データセットでの事前トレーニングは,ViTのトレーニングに欠かせないが,敵の堅牢性を大幅に向上させるものではない。 5) 頑健なモデルのトレーニングには、ViTにも適応できる。 さらに,特徴の可視化と周波数解析により説明を行う。 その結果,vitsはcnnよりも高周波摂動に対する感受性が低く,モデルが低レベルな特徴をどのように学習するか,周波数ベースの摂動に対する頑健性は高い相関関係にあることがわかった。

関連論文リスト

• Exploring Self-Supervised Vision Transformers for Deepfake Detection: A Comparative Analysis [38.074487843137064]
  本稿では,教師付き事前学習型視覚変換器(ViTs)と従来のニューラルネットワーク(ConvNets)とを比較し,顔深度画像やビデオの検出に有効であることを示す。 これは、特に限られたトレーニングデータを用いて、一般化と説明可能性を改善する可能性について検討する。 SSL ViTsを利用して、平易なデータによるディープフェイク検出と部分的な微調整を行い、注意機構を介してディープフェイク検出と説明可能性に匹敵する適応性を見出す。
  論文  参考訳（メタデータ） (2024-05-01T07:16:49Z)
• When Adversarial Training Meets Vision Transformers: Recipes from Training to Architecture [32.260596998171835]
  ViTがこのような敵の攻撃に対して防衛するためには、依然として敵の訓練が必要である。 対人訓練にはプレトレーニングとSGDが必要であることが判明した。 私たちのコードはhttps://versa.com/mo666666/When-Adrial-Training-Meets-Vision-Transformersで利用可能です。
  論文  参考訳（メタデータ） (2022-10-14T05:37:20Z)
• Deeper Insights into ViTs Robustness towards Common Corruptions [82.79764218627558]
  我々は、CNNのようなアーキテクチャ設計とCNNベースのデータ拡張戦略が、一般的な汚職に対するViTsの堅牢性にどのように影響するかを検討する。 重なり合うパッチ埋め込みと畳み込みフィードフォワードネットワーク(FFN)がロバスト性の向上を実証する。 また、2つの角度から入力値の増大を可能にする新しい条件付き手法も導入する。
  論文  参考訳（メタデータ） (2022-04-26T08:22:34Z)
• Improving Vision Transformers by Revisiting High-frequency Components [106.7140968644414]
  視覚変換器(ViT)モデルは,CNNモデルよりも画像の高周波成分の捕捉に効果が低いことを示す。 本稿では,画像の高周波成分を直接補うHATを提案する。 HAT は様々な ViT モデルの性能を継続的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-03T05:16:51Z)
• When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations [111.44860506703307]
  Vision Transformer (ViTs) と既存のVisionNetsは、ハンドワイヤ機能やインダクティブスループットを汎用神経アーキテクチャに置き換えようとしている。 本稿では、損失幾何学のレンズからViTとRes-Mixersを解析し、トレーニングおよび推論時のモデルのデータ効率を改善することを目的とする。 最初の数層では、スペーサー活動ニューロンの頑健性が改善していることが示されている。 その結果、ViTsは、大規模な事前トレーニングや強力なデータ拡張なしに、ImageNet上でスクラッチからトレーニングした時に、同様のサイズと滑らかさのネットより優れています。
  論文  参考訳（メタデータ） (2021-06-03T02:08:03Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• DeepViT: Towards Deeper Vision Transformer [92.04063170357426]
  近年,視覚変換器 (ViT) が画像分類タスクに応用されている。 より畳み込み層を積み重ねることで改善できる畳み込みニューラルネットワーク(CNN)とは異なり、ViTの性能はより深いスケールで飽和する。 本研究では,アテンションマップの多様性を高めるために,アテンションマップを再生成する手法であるre-attentionを提案する。
  論文  参考訳（メタデータ） (2021-03-22T14:32:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。