論文の概要: RBFormer: Improve Adversarial Robustness of Transformer by Robust Bias

• arxiv url: http://arxiv.org/abs/2309.13245v1
• Date: Sat, 23 Sep 2023 03:55:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 21:13:49.941101
• Title: RBFormer: Improve Adversarial Robustness of Transformer by Robust Bias
• Title（参考訳）: rbformer:ロバストバイアスによる変圧器の逆ロバスト性向上
• Authors: Hao Cheng, Jinhao Duan, Hui Li, Lyutianyang Zhang, Jiahang Cao, Ping Wang, Jize Zhang, Kaidi Xu, Renjing Xu
• Abstract要約: 強靭性を考慮に入れた敵の例の導入は、十分に確立された畳み込みに基づく構造の性能に深く、有害な影響を及ぼした。 本稿では,このような脆弱性を軽減するために合理的な構造設計手法を用いる。 本稿では,Robust Bias Transformer-based Structure (RBFormer) という新しい構造を導入する。
• 参考スコア（独自算出の注目度）: 18.705151702198854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, there has been a surge of interest and attention in Transformer-based structures, such as Vision Transformer (ViT) and Vision Multilayer Perceptron (VMLP). Compared with the previous convolution-based structures, the Transformer-based structure under investigation showcases a comparable or superior performance under its distinctive attention-based input token mixer strategy. Introducing adversarial examples as a robustness consideration has had a profound and detrimental impact on the performance of well-established convolution-based structures. This inherent vulnerability to adversarial attacks has also been demonstrated in Transformer-based structures. In this paper, our emphasis lies on investigating the intrinsic robustness of the structure rather than introducing novel defense measures against adversarial attacks. To address the susceptibility to robustness issues, we employ a rational structure design approach to mitigate such vulnerabilities. Specifically, we enhance the adversarial robustness of the structure by increasing the proportion of high-frequency structural robust biases. As a result, we introduce a novel structure called Robust Bias Transformer-based Structure (RBFormer) that shows robust superiority compared to several existing baseline structures. Through a series of extensive experiments, RBFormer outperforms the original structures by a significant margin, achieving an impressive improvement of +16.12% and +5.04% across different evaluation criteria on CIFAR-10 and ImageNet-1k, respectively.
• Abstract（参考訳）: 近年、ViT(Vision Transformer)やVMLP(Vision Multilayer Perceptron)といったトランスフォーマーベースの構造に注目が集まっている。 従来の畳み込みベースの構造と比較すると、Transformerベースの構造は、特徴的な注目ベースの入力トークンミキサー戦略の下で同等または優れた性能を示す。 頑健性を考慮した敵の例の導入は、十分に確立された畳み込みに基づく構造の性能に深く、有害な影響を及ぼした。 この敵攻撃に固有の脆弱性は、Transformerベースの構造でも証明されている。 本稿では,敵の攻撃に対する新たな防御策を導入するよりも,構造の本質的ロバスト性を検討することを重視する。 堅牢性問題に対する感受性に対処するために、このような脆弱性を軽減するために合理的な構造設計アプローチを採用する。 具体的には、高周波数構造ロバストバイアスの比を増大させることにより、構造物の対向ロバスト性を高める。 その結果,Robust Bias Transformer-based Structure (RBFormer) と呼ばれる新しい構造を導入し,既存のベースライン構造と比較して頑健な優位性を示した。 RBFormerは一連の大規模な実験を通じて、CIFAR-10とImageNet-1kの異なる評価基準で、それぞれ+16.12%と+5.04%の大幅な改善を実現した。

関連論文リスト

• Isomorphic Pruning for Vision Models [56.286064975443026]
  構造化プルーニングは、冗長なサブ構造を取り除くことによって、ディープニューラルネットワークの計算オーバーヘッドを低減する。 Isomorphic Pruningは、ネットワークアーキテクチャの範囲で有効性を示すシンプルなアプローチである。
  論文  参考訳（メタデータ） (2024-07-05T16:14:53Z)
• Demystify Transformers & Convolutions in Modern Image Deep Networks [80.16624587948368]
  本稿では,一般のコンボリューションとアテンション演算子の真の利益を,詳細な研究により同定することを目的とする。 注意や畳み込みのようなこれらの特徴変換モジュールの主な違いは、それらの空間的特徴集約アプローチにある。 様々なSTMが統合されたフレームワークに統合され、包括的な比較分析を行う。
  論文  参考訳（メタデータ） (2022-11-10T18:59:43Z)
• On the interplay of adversarial robustness and architecture components: patches, convolution and attention [65.20660287833537]
  本研究は,学習した特徴の解釈可能性と,未知の脅威モデルに対する頑健性に及ぼす対人訓練の効果について検討する。 ResNetからConvNeXtへのアブレーションにより、キーとなるアーキテクチャ上の変更により、約10%高い$ell_infty$-robustnessが実現した。
  論文  参考訳（メタデータ） (2022-09-14T22:02:32Z)
• Structural Bias for Aspect Sentiment Triplet Extraction [15.273669042985883]
  アスペクト感情三重項抽出(ASTE)には構造バイアスが利用され,性能が向上した。 構造バイアスを明示的に組み込むことは効率に悪影響を及ぼすが、事前訓練された言語モデル(PLM)はすでに暗黙的な構造を捉えることができる。 そこで本研究では,PLMにおける構造バイアスを統合するためのアダプタと,低コストで計算可能な相対的位置構造を用いて,効率上の問題に対処することを提案する。
  論文  参考訳（メタデータ） (2022-09-02T05:02:18Z)
• Deeper Insights into ViTs Robustness towards Common Corruptions [82.79764218627558]
  我々は、CNNのようなアーキテクチャ設計とCNNベースのデータ拡張戦略が、一般的な汚職に対するViTsの堅牢性にどのように影響するかを検討する。 重なり合うパッチ埋め込みと畳み込みフィードフォワードネットワーク(FFN)がロバスト性の向上を実証する。 また、2つの角度から入力値の増大を可能にする新しい条件付き手法も導入する。
  論文  参考訳（メタデータ） (2022-04-26T08:22:34Z)
• Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
  本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。 提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
  論文  参考訳（メタデータ） (2021-11-25T05:51:03Z)
• Understanding Structural Vulnerability in Graph Convolutional Networks [27.602802961213236]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造に対する敵攻撃に対して脆弱である。 構造逆例はGCNの非ロバストアグリゲーションスキームに起因していると考えられる。 その結果,GCN の構造的攻撃に対するロバスト性は著しく向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-08-13T15:07:44Z)
• Where Does the Robustness Come from? A Study of the Transformation-based Ensemble Defence [12.973226757056462]
  堅牢性の改善がトランスフォーメーションやアンサンブルの結果であるかどうかは不明だ。 我々は,1) 異なる可逆変換後のデータレコード上で訓練されたモデルの中に,逆例の転送可能性が存在すること,2) 変換に基づくアンサンブルによるロバスト性は限定的であること,3) この制限されたロバスト性は,多くのモデルのアンサンブルではなく,主に可逆変換によるものであること,を示す実験を行う。
  論文  参考訳（メタデータ） (2020-09-28T02:55:56Z)
• Towards a Theoretical Understanding of the Robustness of Variational Autoencoders [82.68133908421792]
  敵攻撃や他の入力摂動に対する変分オートエンコーダ(VAE)の堅牢性を理解するために,我々は進出している。 確率モデルにおけるロバスト性のための新しい基準である$r$-robustnessを開発する。 遠心法を用いて訓練したVAEが、ロバストネスの指標でよく評価されていることを示す。
  論文  参考訳（メタデータ） (2020-07-14T21:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。