論文の概要: The Sword of Damocles in ViTs: Computational Redundancy Amplifies Adversarial Transferability

• arxiv url: http://arxiv.org/abs/2504.10804v1
• Date: Tue, 15 Apr 2025 01:59:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:10:06.756628
• Title: The Sword of Damocles in ViTs: Computational Redundancy Amplifies Adversarial Transferability
• Title（参考訳）: ViTsにおけるDamoclesの剣:計算冗長性は対向移動性を増幅する
• Authors: Jiani Liu, Zhiyuan Wang, Zeliang Zhang, Chao Huang, Susan Liang, Yunlong Tang, Chenliang Xu,
• Abstract要約: 視覚変換器(ViT)における計算冗長性の役割と,その逆変換性への影響について検討する。 データレベルとモデルレベルを含む2種類の冗長性を同定し、攻撃効果を増幅する。 この知見に基づいて,注目空間の操作,アテンションヘッドの置換,クリーントークンの正規化,ゴーストモエの多様化,テスト時間逆行訓練など,一連のテクニックを設計する。
• 参考スコア（独自算出の注目度）: 38.32538271219404
• License:
• Abstract: Vision Transformers (ViTs) have demonstrated impressive performance across a range of applications, including many safety-critical tasks. However, their unique architectural properties raise new challenges and opportunities in adversarial robustness. In particular, we observe that adversarial examples crafted on ViTs exhibit higher transferability compared to those crafted on CNNs, suggesting that ViTs contain structural characteristics favorable for transferable attacks. In this work, we investigate the role of computational redundancy in ViTs and its impact on adversarial transferability. Unlike prior studies that aim to reduce computation for efficiency, we propose to exploit this redundancy to improve the quality and transferability of adversarial examples. Through a detailed analysis, we identify two forms of redundancy, including the data-level and model-level, that can be harnessed to amplify attack effectiveness. Building on this insight, we design a suite of techniques, including attention sparsity manipulation, attention head permutation, clean token regularization, ghost MoE diversification, and test-time adversarial training. Extensive experiments on the ImageNet-1k dataset validate the effectiveness of our approach, showing that our methods significantly outperform existing baselines in both transferability and generality across diverse model architectures.
• Abstract（参考訳）: ViT(Vision Transformers)は、さまざまなアプリケーションにおいて、多くの安全クリティカルなタスクを含む、印象的なパフォーマンスを実証している。 しかし、その独特の建築特性は、敵の堅牢性に新たな挑戦と機会をもたらす。 特に, ViTs を用いた対向的な例は CNN よりも高い伝達性を示し,ViTs が伝達可能な攻撃に好適な構造的特徴を持っていることが示唆された。 本研究では,ViTsにおける計算冗長性の役割と,その逆転送性への影響について検討する。 計算効率の低減を目的とした従来の研究とは違い, この冗長性を利用して, 対向例の品質と転送性を向上させることを提案する。 詳細な分析により、攻撃効果を増幅するために利用できるデータレベルとモデルレベルを含む2種類の冗長性を同定する。 この知見に基づいて,注目空間の操作,アテンションヘッドの置換,クリーントークンの正規化,ゴーストモエの多様化,テスト時間逆行訓練など,一連のテクニックを設計する。 ImageNet-1kデータセットの大規模な実験により、我々の手法は、様々なモデルアーキテクチャにおいて、転送可能性と汎用性の両方において、既存のベースラインを大幅に上回っていることを示す。

関連論文リスト

• Attacking Transformers with Feature Diversity Adversarial Perturbation [19.597912600568026]
  我々は,様々なブラックボックスモデルに対して強い伝達性を示すVTモデルに対して,ラベルフリーなホワイトボックス攻撃手法を提案する。 我々のインスピレーションは、ViTsにおける機能崩壊現象から来ており、重要な注意機構は機能の低周波成分に依存する。
  論文  参考訳（メタデータ） (2024-03-10T00:55:58Z)
• Bag of Tricks to Boost Adversarial Transferability [5.803095119348021]
  ホワイトボックス設定で生成された逆例は、しばしば異なるモデル間で低い転送可能性を示す。 そこで本研究では,既存の敵攻撃の微妙な変化が攻撃性能に大きく影響することを発見した。 既存の敵攻撃の綿密な研究に基づいて、敵の移動性を高めるためのトリックの袋を提案する。
  論文  参考訳（メタデータ） (2024-01-16T17:42:36Z)
• CT-GAT: Cross-Task Generative Adversarial Attack based on Transferability [24.272384832200522]
  本稿では,様々なタスクにまたがる伝達可能な特徴を抽出して,直接対逆例を構築する手法を提案する。 具体的には,複数のタスクから収集した対数サンプルデータを用いて,CT-GATというシーケンス対シーケンス生成モデルを訓練し,普遍的対数特徴を得る。 その結果,本手法は低コストで優れた攻撃性能を達成できることが判明した。
  論文  参考訳（メタデータ） (2023-10-22T11:00:04Z)
• Demystify Transformers & Convolutions in Modern Image Deep Networks [80.16624587948368]
  本稿では,一般のコンボリューションとアテンション演算子の真の利益を,詳細な研究により同定することを目的とする。 注意や畳み込みのようなこれらの特徴変換モジュールの主な違いは、それらの空間的特徴集約アプローチにある。 様々なSTMが統合されたフレームワークに統合され、包括的な比較分析を行う。
  論文  参考訳（メタデータ） (2022-11-10T18:59:43Z)
• Deeper Insights into ViTs Robustness towards Common Corruptions [82.79764218627558]
  我々は、CNNのようなアーキテクチャ設計とCNNベースのデータ拡張戦略が、一般的な汚職に対するViTsの堅牢性にどのように影響するかを検討する。 重なり合うパッチ埋め込みと畳み込みフィードフォワードネットワーク(FFN)がロバスト性の向上を実証する。 また、2つの角度から入力値の増大を可能にする新しい条件付き手法も導入する。
  論文  参考訳（メタデータ） (2022-04-26T08:22:34Z)
• Towards Transferable Adversarial Attacks on Vision Transformers [110.55845478440807]
  視覚変換器(ViT)は、コンピュータビジョンの一連のタスクにおいて印象的なパフォーマンスを示してきたが、それでも敵の例に悩まされている。 本稿では、PNA攻撃とPatchOut攻撃を含むデュアルアタックフレームワークを導入し、異なるViT間での対向サンプルの転送性を改善する。
  論文  参考訳（メタデータ） (2021-09-09T11:28:25Z)
• TVT: Transferable Vision Transformer for Unsupervised Domain Adaptation [54.61786380919243]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから学習した知識をラベル付きターゲットドメインに転送することを目的としている。 これまでの研究は主に、ドメイン不変表現を学ぶために畳み込みニューラルネットワーク(CNN)上に構築されていた。 近年、視覚タスクに視覚変換器(ViT)を適用する指数関数的増加に伴い、ドメイン間の知識を適応するViTの能力は文献上未解明のままである。
  論文  参考訳（メタデータ） (2021-08-12T22:37:43Z)
• Enhancing Adversarial Robustness via Test-time Transformation Ensembling [51.51139269928358]
  テスト時間変換を組み込んだモデルを組み込むことが,敵攻撃に対する信頼性の高い防御手段として有効であることを示す。 TTEは、再トレーニングを必要とせずに、様々な強力な攻撃に対するモデルロバスト性を一貫して改善することを示します。
  論文  参考訳（メタデータ） (2021-07-29T15:32:35Z)
• TREND: Transferability based Robust ENsemble Design [6.663641564969944]
  本稿では, ネットワークアーキテクチャ, 入力, 重量, アクティベーションの量子化が, 対向サンプルの転送性に及ぼす影響について検討する。 本研究では,ソースとターゲット間の入力量子化によってトランスファービリティが著しく阻害されていることを示す。 我々は、これに対抗するために、新しい最先端のアンサンブル攻撃を提案する。
  論文  参考訳（メタデータ） (2020-08-04T13:38:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。