論文の概要: Attacking Compressed Vision Transformers

• arxiv url: http://arxiv.org/abs/2209.13785v1
• Date: Wed, 28 Sep 2022 02:29:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 16:19:42.972152
• Title: Attacking Compressed Vision Transformers
• Title（参考訳）: 圧縮視覚トランスフォーマーを攻撃
• Authors: Swapnil Parekh, Devansh Shah, Pratyush Shukla
• Abstract要約: ヴィジュアルトランスフォーマーは、優れた性能のため、産業システムに組み込まれている。 モデル圧縮技術は現在、エッジデバイスにモデルをデプロイするために広く使用されている。 しかし、セキュリティの観点からの信頼性と堅牢性は、安全クリティカルなアプリケーションにおけるもう一つの大きな問題である。
• 参考スコア（独自算出の注目度）: 2.76240219662896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Transformers are increasingly embedded in industrial systems due to their superior performance, but their memory and power requirements make deploying them to edge devices a challenging task. Hence, model compression techniques are now widely used to deploy models on edge devices as they decrease the resource requirements and make model inference very fast and efficient. But their reliability and robustness from a security perspective is another major issue in safety-critical applications. Adversarial attacks are like optical illusions for ML algorithms and they can severely impact the accuracy and reliability of models. In this work we investigate the transferability of adversarial samples across the SOTA Vision Transformer models across 3 SOTA compressed versions and infer the effects different compression techniques have on adversarial attacks.
• Abstract（参考訳）: 視覚トランスフォーマーは、その優れた性能のため、産業システムに組み込まれつつあるが、そのメモリと電力要件により、エッジデバイスへのデプロイは困難な作業となっている。 したがって、モデル圧縮技術は、リソース要件を減らし、モデル推論を非常に高速かつ効率的にするため、エッジデバイスにモデルをデプロイするために広く使われている。 しかし、セキュリティの観点からの信頼性と堅牢性は、セーフティクリティカルなアプリケーションにおけるもうひとつの大きな問題である。 敵攻撃はMLアルゴリズムの光学錯覚のようなもので、モデルの精度と信頼性に大きな影響を与える可能性がある。 本研究は,SOTAビジョントランスフォーマーモデルを用いた3種類のSOTA圧縮版間の逆解析を行い,異なる圧縮技術が敵攻撃に与える影響を推定するものである。

関連論文リスト

• Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches [64.42735183056062]
  大規模言語モデル(LLM)は、特殊モデルから多目的基礎モデルへと移行してきた。 LLMは印象的なゼロショット能力を示すが、ローカルデータセットとデプロイメントのための重要なリソースを微調整する必要がある。
  論文  参考訳（メタデータ） (2024-08-20T09:42:17Z)
• ADAPT to Robustify Prompt Tuning Vision Transformers [4.462011758348954]
  本稿では,アダプティブ・チューニング・パラダイムにおける適応的対角訓練を行うための新しいフレームワークであるADAPTを紹介する。 提案手法は,パラメータの1%だけを調整し,フルモデルファインチューニングによる40%のSOTAロバストネスの競合ロバスト精度を実現する。
  論文  参考訳（メタデータ） (2024-03-19T23:13:40Z)
• A Survey on Transformer Compression [84.18094368700379]
  自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす モデル圧縮法は、Transformerのメモリと計算コストを削減する。 この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:16:28Z)
• FullLoRA-AT: Efficiently Boosting the Robustness of Pretrained Vision Transformers [61.48709409150777]
  Vision Transformer (ViT) モデルは、様々なコンピュータビジョンタスクにおいて徐々に主流になりつつある。 既存の大きなモデルは、トレーニング中のパフォーマンスを優先する傾向があり、ロバストさを無視する可能性がある。 従来のLoRAモジュールよりも前に学習可能なレイヤ正規化を取り入れた新しいLNLoRAモジュールを開発した。 本稿では,学習可能なLNLoRAモジュールをViTモデルの主要コンポーネントに組み込むことにより,FullLoRA-ATフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-03T14:08:39Z)
• QuantAttack: Exploiting Dynamic Quantization to Attack Vision Transformers [29.957089564635083]
  我々は、量子化されたモデルの可用性を目標とする、新しい攻撃であるQuantAttackを紹介する。 オペレーティングシステムのリソースを無駄にするために設計された、慎重に構築された敵の例は、最悪のパフォーマンスを引き起こす可能性があることを示す。
  論文  参考訳（メタデータ） (2023-12-03T18:31:19Z)
• Attention Deficit is Ordered! Fooling Deformable Vision Transformers with Collaborative Adversarial Patches [3.4673556247932225]
  変形可能な視覚変換器は、注意モデリングの複雑さを著しく低減する。 最近の研究は、従来の視覚変換器に対する敵攻撃を実証している。 我々は,対象のパッチに注意を向けるようにソースパッチが操作する新たなコラボレーティブアタックを開発する。
  論文  参考訳（メタデータ） (2023-11-21T17:55:46Z)
• The Efficacy of Transformer-based Adversarial Attacks in Security Domains [0.7156877824959499]
  システムディフェンダーの対向サンプルに対する変換器のロバスト性およびシステムアタッカーに対する対向強度を評価する。 我々の研究は、セキュリティ領域におけるモデルの攻撃と防御のためにトランスフォーマーアーキテクチャを研究することの重要性を強調している。
  論文  参考訳（メタデータ） (2023-10-17T21:45:23Z)
• USDC: Unified Static and Dynamic Compression for Visual Transformer [17.10536016262485]
  ビジュアルトランスフォーマーは、分類、検出など、ほぼすべての視覚タスクで大きな成功を収めています。 しかし、視覚変換器のモデル複雑さと推論速度は、産業製品への展開を妨げる。 様々なモデル圧縮技術は、モデル性能を維持しながら、視覚変換器を直接より小さく圧縮することに重点を置いているが、圧縮比が大きいと性能が劇的に低下する。 動的ネットワーク技術もいくつか適用されており、入力適応効率のよいサブ構造を得るために動的に圧縮し、圧縮比とモデル性能のトレードオフを改善することができる。
  論文  参考訳（メタデータ） (2023-10-17T10:04:47Z)
• Deeper Insights into ViTs Robustness towards Common Corruptions [82.79764218627558]
  我々は、CNNのようなアーキテクチャ設計とCNNベースのデータ拡張戦略が、一般的な汚職に対するViTsの堅牢性にどのように影響するかを検討する。 重なり合うパッチ埋め込みと畳み込みフィードフォワードネットワーク(FFN)がロバスト性の向上を実証する。 また、2つの角度から入力値の増大を可能にする新しい条件付き手法も導入する。
  論文  参考訳（メタデータ） (2022-04-26T08:22:34Z)
• Blending Anti-Aliasing into Vision Transformer [57.88274087198552]
  不連続なパッチ単位のトークン化プロセスは、ジャッジされたアーティファクトをアテンションマップに暗黙的に導入する。 エイリアス効果は、離散パターンを使用して高周波または連続的な情報を生成し、区別不能な歪みをもたらす。 本稿では,前述の問題を緩和するためのAliasing-Reduction Module(ARM)を提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:30:02Z)
• On the Adversarial Robustness of Visual Transformers [129.29523847765952]
  本研究は、視覚変換器(ViT)の対逆的摂動に対する堅牢性に関する最初の包括的な研究を提供する。 さまざまなホワイトボックスとトランスファーアタック設定でテストされた ViT は、畳み込みニューラルネットワーク (CNN) と比較して、より優れた敵対的堅牢性を持っています。
  論文  参考訳（メタデータ） (2021-03-29T14:48:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。