論文の概要: On the Adversarial Transferability of Generalized "Skip Connections"

• arxiv url: http://arxiv.org/abs/2410.08950v1
• Date: Fri, 11 Oct 2024 16:17:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 20:56:20.168283
• Title: On the Adversarial Transferability of Generalized "Skip Connections"
• Title（参考訳）: 一般化された「スキップ接続」の逆変換性について
• Authors: Yisen Wang, Yichuan Mo, Dongxian Wu, Mingjie Li, Xingjun Ma, Zhouchen Lin,
• Abstract要約: スキップ接続は、より深く、より強力な現代のディープモデルにとって重要な要素である。 バックプロパゲーションにおいて、バックプロパゲーション中に、スキップ接続からより多くの勾配を用いることで、高い転送性を持つ逆例を作成できることが分かる。 本稿では,ResNet,Transformer,Inceptions,Neural Architecture Search,Large Language Modelsなど,さまざまなモデルに対する包括的なトランスファー攻撃を行う。
• 参考スコア（独自算出の注目度）: 83.71752155227888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Skip connection is an essential ingredient for modern deep models to be deeper and more powerful. Despite their huge success in normal scenarios (state-of-the-art classification performance on natural examples), we investigate and identify an interesting property of skip connections under adversarial scenarios, namely, the use of skip connections allows easier generation of highly transferable adversarial examples. Specifically, in ResNet-like models (with skip connections), we find that using more gradients from the skip connections rather than the residual modules according to a decay factor during backpropagation allows one to craft adversarial examples with high transferability. The above method is termed as Skip Gradient Method (SGM). Although starting from ResNet-like models in vision domains, we further extend SGM to more advanced architectures, including Vision Transformers (ViTs) and models with length-varying paths and other domains, i.e. natural language processing. We conduct comprehensive transfer attacks against various models including ResNets, Transformers, Inceptions, Neural Architecture Search, and Large Language Models (LLMs). We show that employing SGM can greatly improve the transferability of crafted attacks in almost all cases. Furthermore, considering the big complexity for practical use, we further demonstrate that SGM can even improve the transferability on ensembles of models or targeted attacks and the stealthiness against current defenses. At last, we provide theoretical explanations and empirical insights on how SGM works. Our findings not only motivate new adversarial research into the architectural characteristics of models but also open up further challenges for secure model architecture design. Our code is available at https://github.com/mo666666/SGM.
• Abstract（参考訳）: スキップ接続は、より深く、より強力な現代のディープモデルにとって重要な要素である。 通常のシナリオ(自然事例における最先端の分類性能)において大きな成功を収めたにもかかわらず、我々は、逆シナリオ下でのスキップ接続の興味深い特性、すなわち、スキップ接続を使用することにより、高度に転送可能な逆例を容易に生成できるかどうかを調査し、同定する。 特に、ResNetのような(スキップ接続を持つ)モデルでは、バックプロパゲーションの際の崩壊係数に従って、残りのモジュールよりもスキップ接続からの勾配を多く使うことで、高い転送性を持つ逆例を作成できることが分かる。 上記の方法はSkip Gradient Method (SGM) と呼ばれる。 視覚領域におけるResNetのようなモデルから始まったが、私たちはSGMをさらに高度なアーキテクチャに拡張し、ViT(Vision Transformer)や長さの異なるパスやその他のドメインを持つモデル、すなわち自然言語処理へと拡張する。 本稿では,ResNet,Transformer,Inceptions,Neural Architecture Search,Large Language Models(LLMs)など,さまざまなモデルに対する包括的なトランスファー攻撃を行う。 ほぼすべてのケースにおいて,SGMを利用することで,クラフト攻撃の転送可能性を大幅に向上できることを示す。 さらに、実用上の大きな複雑さを考慮すると、SGMはモデルや標的攻撃のアンサンブルの伝達性や、現在の防衛に対するステルスネスを向上できることを示す。 最終的に、SGMの動作に関する理論的説明と実証的な洞察を提供する。 本研究は, モデル設計のアーキテクチャ特性に関する新たな対立研究の動機となるだけでなく, モデル設計の安全性に関するさらなる課題を提起するものである。 私たちのコードはhttps://github.com/mo666666/SGMで公開されています。

関連論文リスト

• PB-UAP: Hybrid Universal Adversarial Attack For Image Segmentation [15.702469692874816]
  セグメンテーションモデル用に設計された新しいユニバーサル逆攻撃法を提案する。 提案手法は,最先端の手法よりも高い攻撃成功率を達成し,異なるモデル間で強い伝達性を示す。
  論文  参考訳（メタデータ） (2024-12-21T14:46:01Z)
• Towards Adversarial Robustness of Model-Level Mixture-of-Experts Architectures for Semantic Segmentation [11.311414617703308]
  都市交通シーンと高速道路交通シーンのセマンティックセグメンテーションにおけるMoEsの脆弱性を評価する。 多くの場合、MoEsは、インスタンスごとの攻撃や汎用的なホワイトボックス攻撃に対してより堅牢であり、転送攻撃に耐えられることを示す。
  論文  参考訳（メタデータ） (2024-12-16T09:49:59Z)
• Scaling Laws for Black box Adversarial Attacks [37.744814957775965]
  敵の例では、クロスモデル転送可能性を示し、ブラックボックスモデルを攻撃することができる。 モデルアンサンブルは、複数のサロゲートモデルを同時に攻撃することで、転送可能性を改善する効果的な戦略である。 スケールされた攻撃はセマンティクスにおいてより良い解釈可能性をもたらし、モデルの共通の特徴がキャプチャーされることを示す。
  論文  参考訳（メタデータ） (2024-11-25T08:14:37Z)
• MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [72.05167902805405]
  異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。 MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。 MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
  論文  参考訳（メタデータ） (2024-04-20T08:34:39Z)
• Enhancing NeRF akin to Enhancing LLMs: Generalizable NeRF Transformer with Mixture-of-View-Experts [88.23732496104667]
  クロスシーンの一般化可能なNeRFモデルは、NeRFフィールドの新たなスポットライトとなっている。 我々は、大規模言語モデルから強力なMixture-of-Experts(MoE)のアイデアを"神経化"アーキテクチャにブリッジする。 提案手法は,GNT-MOVE (Mixture-of-View-Experts) とよばれるモデルで,未知のシーンに移動する際の最先端の結果を実験的に示す。
  論文  参考訳（メタデータ） (2023-08-22T21:18:54Z)
• Enhance transferability of adversarial examples with model architecture [29.340413471204478]
  敵の例の転送性は、ブラックボックスの敵攻撃を開始する上で重要である。 本稿では,新しい視点,すなわち適合モデルアーキテクチャの設計から,過度に適合する問題を緩和することを提案する。 MMAをベースとした対向的な例の転送可能性は他の最先端モデルアーキテクチャを最大40%上回り、オーバーヘッドは同等である。
  論文  参考訳（メタデータ） (2022-02-28T09:05:58Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Training Meta-Surrogate Model for Transferable Adversarial Attack [98.13178217557193]
  クエリーを許可しない場合、ブラックボックスモデルに対する逆攻撃を考える。 この設定では、多くの手法が代理モデルを直接攻撃し、得られた敵の例をターゲットモデルを騙すために転送する。 メタサロゲートモデル(Meta-Surrogate Model:MSM)は,このモデルに対する攻撃が,他のモデルに容易に転送できることを示す。
  論文  参考訳（メタデータ） (2021-09-05T03:27:46Z)
• Skip Connections Matter: On the Transferability of Adversarial Examples Generated with ResNets [83.12737997548645]
  スキップ接続は、現在最先端のディープニューラルネットワーク(DNN)の重要な構成要素である スキップ接続を使用することで、高度に転送可能な逆例を簡単に生成できる。 我々は、ResNets、DenseNets、Inceptions、Inception-ResNet、Squeeze-and-Excitation Network (SENet)を含む最先端DNNに対する包括的な転送攻撃を行う。
  論文  参考訳（メタデータ） (2020-02-14T12:09:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。