論文の概要: Adversarial Token Attacks on Vision Transformers

• arxiv url: http://arxiv.org/abs/2110.04337v1
• Date: Fri, 8 Oct 2021 19:00:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 16:40:04.074300
• Title: Adversarial Token Attacks on Vision Transformers
• Title（参考訳）: 視覚トランスフォーマーの逆トークン攻撃
• Authors: Ameya Joshi, Gauri Jagatap, Chinmay Hegde
• Abstract要約: ビジョントランスフォーマーは、畳み込みネットワークとは対照的に、パッチトークンベースの自己注意機構に依存している。 ブロック間隔に基づく逆トークン攻撃を設計することにより,これら2つのモデルの基本的な相違について検討する。 ResNetsは単一トークン攻撃に対する堅牢な精度で最大$sim30%の精度でTransformerモデルを上回っている。
• 参考スコア（独自算出の注目度）: 40.687728887725356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision transformers rely on a patch token based self attention mechanism, in contrast to convolutional networks. We investigate fundamental differences between these two families of models, by designing a block sparsity based adversarial token attack. We probe and analyze transformer as well as convolutional models with token attacks of varying patch sizes. We infer that transformer models are more sensitive to token attacks than convolutional models, with ResNets outperforming Transformer models by up to $\sim30\%$ in robust accuracy for single token attacks.
• Abstract（参考訳）: 視覚トランスフォーマーは畳み込みネットワークとは対照的にパッチトークンベースの自己注意機構に依存している。 ブロックスパルシティーに基づく敵トークン攻撃の設計により,これら2つのモデル間の根本的な違いについて検討する。 我々は,様々なパッチサイズのトークン攻撃を伴う畳み込みモデルと同様にトランスフォーマを調査し,解析する。 我々は、トランスフォーマーモデルは畳み込みモデルよりもトークン攻撃に敏感であり、単一トークン攻撃に対する堅牢な精度で最大$\sim30\%のresnetがトランスフォーマーモデルを上回ると推測する。

関連論文リスト

• Adversarial Robustness of In-Context Learning in Transformers for Linear Regression [23.737606860443705]
  本研究は,線形回帰タスクの設定に焦点をあてたテキストハイザック攻撃に対するトランスフォーマにおける文脈内学習の脆弱性について検討する。 まず,一層線形変圧器が非破壊的であり,任意の予測を出力できることを示す。 次に, 逆行訓練は, ファインタニング時にのみ適用しても, ハイジャック攻撃に対するトランスフォーマーの堅牢性を高めることを実証する。
  論文  参考訳（メタデータ） (2024-11-07T21:25:58Z)
• Transformation-Dependent Adversarial Attacks [15.374381635334897]
  変換依存的敵攻撃(transform-dependent adversarial attack)は、単一の加法摂動が多様で制御可能な誤予測を引き起こす新たな種類の脅威である。 静的な影響を持つ従来の攻撃とは異なり、我々の摂動は変換パラメータの関数として異なる敵攻撃を可能にする変成特性を埋め込む。
  論文  参考訳（メタデータ） (2024-06-12T17:31:36Z)
• Attention Deficit is Ordered! Fooling Deformable Vision Transformers with Collaborative Adversarial Patches [3.4673556247932225]
  変形可能な視覚変換器は、注意モデリングの複雑さを著しく低減する。 最近の研究は、従来の視覚変換器に対する敵攻撃を実証している。 我々は,対象のパッチに注意を向けるようにソースパッチが操作する新たなコラボレーティブアタックを開発する。
  論文  参考訳（メタデータ） (2023-11-21T17:55:46Z)
• The Efficacy of Transformer-based Adversarial Attacks in Security Domains [0.7156877824959499]
  システムディフェンダーの対向サンプルに対する変換器のロバスト性およびシステムアタッカーに対する対向強度を評価する。 我々の研究は、セキュリティ領域におけるモデルの攻撃と防御のためにトランスフォーマーアーキテクチャを研究することの重要性を強調している。
  論文  参考訳（メタデータ） (2023-10-17T21:45:23Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• What Makes for Good Tokenizers in Vision Transformer? [62.44987486771936]
  変圧器は自己注意を用いて対関係を抽出することができる。 優れたトークンライザとなるものは、コンピュータビジョンではよく理解されていない。 Tokens (MoTo) を横断する変調は、正規化によるトークン間モデリング機能を備えている。 TokenPropの正規化対象は、標準トレーニング体制で採用されている。
  論文  参考訳（メタデータ） (2022-12-21T15:51:43Z)
• Towards Transferable Adversarial Attacks on Vision Transformers [110.55845478440807]
  視覚変換器(ViT)は、コンピュータビジョンの一連のタスクにおいて印象的なパフォーマンスを示してきたが、それでも敵の例に悩まされている。 本稿では、PNA攻撃とPatchOut攻撃を含むデュアルアタックフレームワークを導入し、異なるViT間での対向サンプルの転送性を改善する。
  論文  参考訳（メタデータ） (2021-09-09T11:28:25Z)
• On Improving Adversarial Transferability of Vision Transformers [97.17154635766578]
  視覚変換器(ViT)は、入力画像を、自己注意によるパッチのシーケンスとして処理する。 本稿では,ViTモデルの対角的特徴空間とその伝達性について検討する。 本稿では,ViTモデルのアーキテクチャに特有な2つの新しい戦略を紹介する。
  論文  参考訳（メタデータ） (2021-06-08T08:20:38Z)
• Robustness Verification for Transformers [165.25112192811764]
  我々はトランスフォーマーのための最初のロバスト性検証アルゴリズムを開発した。 提案手法で計算したロバスト性境界は, 素粒子間境界伝播法で計算したロバスト性境界よりもかなり厳密である。 これらの境界はまた、感情分析における異なる単語の重要性を常に反映しているトランスフォーマーの解釈にも光を当てている。
  論文  参考訳（メタデータ） (2020-02-16T17:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。