論文の概要: Mechanistic Understandings of Representation Vulnerabilities and Engineering Robust Vision Transformers

• arxiv url: http://arxiv.org/abs/2502.04679v1
• Date: Fri, 07 Feb 2025 05:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:57:39.374803
• Title: Mechanistic Understandings of Representation Vulnerabilities and Engineering Robust Vision Transformers
• Title（参考訳）: 表現脆弱性の機械的理解と工学的ロバスト視覚変換器
• Authors: Chashi Mahiul Islam, Samuel Jacob Chacko, Mao Nishino, Xiuwen Liu,
• Abstract要約: 視覚変換器(ViT)の既知の表現脆弱性の源泉について検討し、知覚的に同一の画像が全く異なる表現を持つことを示す。 我々は,早期に脆弱な神経細胞を戦略的に中和する新しい防御機構であるNeuroShield-ViTを開発し,対向効果のカスケードを防止する。 我々の研究結果は、視力変換器が敵の攻撃に対して堅牢性を高めるための有望なアプローチを提供しながら、敵の効果がViT層を通してどのように伝播するかに新たな光を当てた。
• 参考スコア（独自算出の注目度）: 1.1187085721899017
• License:
• Abstract: While transformer-based models dominate NLP and vision applications, their underlying mechanisms to map the input space to the label space semantically are not well understood. In this paper, we study the sources of known representation vulnerabilities of vision transformers (ViT), where perceptually identical images can have very different representations and semantically unrelated images can have the same representation. Our analysis indicates that imperceptible changes to the input can result in significant representation changes, particularly in later layers, suggesting potential instabilities in the performance of ViTs. Our comprehensive study reveals that adversarial effects, while subtle in early layers, propagate and amplify through the network, becoming most pronounced in middle to late layers. This insight motivates the development of NeuroShield-ViT, a novel defense mechanism that strategically neutralizes vulnerable neurons in earlier layers to prevent the cascade of adversarial effects. We demonstrate NeuroShield-ViT's effectiveness across various attacks, particularly excelling against strong iterative attacks, and showcase its remarkable zero-shot generalization capabilities. Without fine-tuning, our method achieves a competitive accuracy of 77.8% on adversarial examples, surpassing conventional robustness methods. Our results shed new light on how adversarial effects propagate through ViT layers, while providing a promising approach to enhance the robustness of vision transformers against adversarial attacks. Additionally, they provide a promising approach to enhance the robustness of vision transformers against adversarial attacks.
• Abstract（参考訳）: トランスフォーマーベースのモデルがNLPおよびビジョンアプリケーションを支配しているが、入力空間をラベル空間に意味論的にマッピングする基本的なメカニズムはよく理解されていない。 本稿では、視覚変換器(ViT)の既知の表現脆弱性の源泉について検討し、知覚的に同一の画像が全く異なる表現を持つことができ、意味的に無関係な画像が同じ表現を持つことができる。 分析の結果,入力に対する知覚不能な変化は,特に後層において顕著な表現変化をもたらすことが示唆され,ViTの性能が不安定である可能性が示唆された。 網羅的な研究により、初期の層では微妙な逆効果があるものの、ネットワークを伝播し増幅し、中層から後期層に最も顕著になることが明らかとなった。 この知見はニューロシールド-ViTの発達を動機付けており、これは初期の層で脆弱な神経細胞を戦略的に中和し、敵の作用のカスケードを防ぐ新しい防御機構である。 各種攻撃におけるNeuroShield-ViTの有効性,特に強力な反復攻撃に対して優れた効果を示し,その顕著なゼロショット一般化能力を示す。 微調整を行わず,従来の強靭性手法を超越して77.8%の競争精度を実現した。 我々の研究結果は、視力変換器が敵の攻撃に対して堅牢性を高めるための有望なアプローチを提供しながら、敵の効果がViT層を通してどのように伝播するかに新たな光を当てた。 さらに、敵攻撃に対するビジョントランスフォーマーの堅牢性を高めるための有望なアプローチを提供する。

関連論文リスト

• Protego: Detecting Adversarial Examples for Vision Transformers via Intrinsic Capabilities [21.96572543062238]
  トランスフォーマーモデルは自然言語処理に優れており、ビジョンコミュニティはコンピュータビジョン問題におけるその実装を探求している。 本稿では、VTモデルの脆弱性を明らかにするために、3つの事前訓練されたViTモデルに対する6つの共通敵攻撃の攻撃能力について検討する。 本稿では,VTモデルが敵攻撃を防ぐために,変圧器固有の機能を利用した検出フレームワークProtegoを提案する。
  論文  参考訳（メタデータ） (2025-01-13T03:54:19Z)
• Transformation-Dependent Adversarial Attacks [15.374381635334897]
  変換依存的敵攻撃(transform-dependent adversarial attack)は、単一の加法摂動が多様で制御可能な誤予測を引き起こす新たな種類の脅威である。 静的な影響を持つ従来の攻撃とは異なり、我々の摂動は変換パラメータの関数として異なる敵攻撃を可能にする変成特性を埋め込む。
  論文  参考訳（メタデータ） (2024-06-12T17:31:36Z)
• Attacking Transformers with Feature Diversity Adversarial Perturbation [19.597912600568026]
  我々は,様々なブラックボックスモデルに対して強い伝達性を示すVTモデルに対して,ラベルフリーなホワイトボックス攻撃手法を提案する。 我々のインスピレーションは、ViTsにおける機能崩壊現象から来ており、重要な注意機構は機能の低周波成分に依存する。
  論文  参考訳（メタデータ） (2024-03-10T00:55:58Z)
• Towards Robust Semantic Segmentation against Patch-based Attack via Attention Refinement [68.31147013783387]
  我々は,アテンション機構がパッチベースの敵攻撃に弱いことを観察した。 本稿では,意味的セグメンテーションモデルの堅牢性を改善するために,ロバスト注意機構(RAM)を提案する。
  論文  参考訳（メタデータ） (2024-01-03T13:58:35Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• Adversarial Prompt Tuning for Vision-Language Models [86.5543597406173]
  AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。 我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-19T07:47:43Z)
• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• Self-Ensembling Vision Transformer (SEViT) for Robust Medical Image Classification [4.843654097048771]
  ビジョントランスフォーマー(ViT)は、医療画像における様々なコンピュータビジョンタスクのために、畳み込みニューラルネットワーク(CNN)を置き換えるために競合している。 近年の研究では、ViTsはそのような攻撃の影響を受けやすく、攻撃下での大幅な性能劣化が報告されている。 本稿では,対戦型攻撃の存在下でのViTの堅牢性を高めるための,新たな自己認識手法を提案する。
  論文  参考訳（メタデータ） (2022-08-04T19:02:24Z)
• Deeper Insights into ViTs Robustness towards Common Corruptions [82.79764218627558]
  我々は、CNNのようなアーキテクチャ設計とCNNベースのデータ拡張戦略が、一般的な汚職に対するViTsの堅牢性にどのように影響するかを検討する。 重なり合うパッチ埋め込みと畳み込みフィードフォワードネットワーク(FFN)がロバスト性の向上を実証する。 また、2つの角度から入力値の増大を可能にする新しい条件付き手法も導入する。
  論文  参考訳（メタデータ） (2022-04-26T08:22:34Z)
• Towards Transferable Adversarial Attacks on Vision Transformers [110.55845478440807]
  視覚変換器(ViT)は、コンピュータビジョンの一連のタスクにおいて印象的なパフォーマンスを示してきたが、それでも敵の例に悩まされている。 本稿では、PNA攻撃とPatchOut攻撃を含むデュアルアタックフレームワークを導入し、異なるViT間での対向サンプルの転送性を改善する。
  論文  参考訳（メタデータ） (2021-09-09T11:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。