論文の概要: Revisiting Adversarial Training for ImageNet: Architectures, Training
and Generalization across Threat Models
- arxiv url: http://arxiv.org/abs/2303.01870v1
- Date: Fri, 3 Mar 2023 11:53:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-06 15:13:57.984096
- Title: Revisiting Adversarial Training for ImageNet: Architectures, Training
and Generalization across Threat Models
- Title（参考訳）: imagenet の敵対的トレーニングの再検討 - 脅威モデル間のアーキテクチャ,トレーニング,一般化
- Authors: Naman D Singh, Francesco Croce, Matthias Hein
- Abstract要約: 我々は、ViTsとConvNeXtsを比較したImageNetの敵対的トレーニングを再考する。
修正されたConvNeXt、ConvNeXt + ConvStemは、モデルパラメータとFLOPの異なる範囲で最も堅牢なモデルを生成する。
- 参考スコア（独自算出の注目度）: 55.19586522442065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While adversarial training has been extensively studied for ResNet
architectures and low resolution datasets like CIFAR, much less is known for
ImageNet. Given the recent debate about whether transformers are more robust
than convnets, we revisit adversarial training on ImageNet comparing ViTs and
ConvNeXts. Extensive experiments show that minor changes in architecture, most
notably replacing PatchStem with ConvStem, and training scheme have a
significant impact on the achieved robustness. These changes not only increase
robustness in the seen $\ell_\infty$-threat model, but even more so improve
generalization to unseen $\ell_1/\ell_2$-robustness. Our modified ConvNeXt,
ConvNeXt + ConvStem, yields the most robust models across different ranges of
model parameters and FLOPs.
- Abstract（参考訳）: ResNetアーキテクチャやCIFARのような低解像度データセットのために、敵のトレーニングが広く研究されているが、ImageNetではあまり知られていない。
トランスフォーマーがconvnetよりも堅牢であるかどうかという最近の議論を踏まえて,vitsとconvnextsを比較したimagenetの敵対的トレーニングを再検討する。
大規模な実験は、アーキテクチャの小さな変更、特にPatchStemをConvStemに置き換えること、およびトレーニングスキームが達成された堅牢性に大きな影響を与えることを示している。
これらの変化は、見た $\ell_\infty$-threat モデルにおけるロバスト性を増加させるだけでなく、さらに $\ell_1/\ell_2$-robustness に対する一般化を改善する。
修正されたConvNeXt、ConvNeXt + ConvStemは、モデルパラメータとFLOPの異なる範囲で最も堅牢なモデルを生成する。
関連論文リスト
- On the Adversarial Transferability of Generalized "Skip Connections" [83.71752155227888]
スキップ接続は、より深く、より強力な現代のディープモデルにとって重要な要素である。
バックプロパゲーションにおいて、バックプロパゲーション中に、スキップ接続からより多くの勾配を用いることで、高い転送性を持つ逆例を作成できることが分かる。
本稿では,ResNet,Transformer,Inceptions,Neural Architecture Search,Large Language Modelsなど,さまざまなモデルに対する包括的なトランスファー攻撃を行う。
論文 参考訳（メタデータ） (2024-10-11T16:17:47Z) - ConvNet vs Transformer, Supervised vs CLIP: Beyond ImageNet Accuracy [27.75360812109922]
本研究では,ImageNetの精度を超えるモデル行動の詳細な比較分析を行う。
選択したモデルには、類似したImageNetの精度と計算要求があるが、他の多くの点で異なることが分かる。
このモデル特性の多様性は、従来のメトリクスによって捉えられず、より微妙な分析の必要性を強調している。
論文 参考訳（メタデータ） (2023-11-15T18:56:51Z) - On the unreasonable vulnerability of transformers for image restoration
-- and an easy fix [16.927916090724363]
画像修復にViTsの対向性の改善が有効か検討した。
我々は最近提案されたRestormerモデルとNAFNetと"Baseline network"について検討する。
実験は、GoProデータセットの実際の画像を用いて行われ、画像の劣化を観察する。
論文 参考訳（メタデータ） (2023-07-25T23:09:05Z) - A Light Recipe to Train Robust Vision Transformers [34.51642006926379]
我々は、視覚変換器(ViT)が、回避攻撃に対する機械学習モデルの堅牢性を改善するための基盤となるアーキテクチャとして機能することを示します。
我々は、ImageNetデータセットのサブセットに関する厳密なアブレーション研究を用いて、独自の逆トレーニングレシピを用いて、この目的を達成する。
提案手法は,完全なImageNet-1k上でのViTアーキテクチャと大規模モデルの異なるクラスに一般化可能であることを示す。
論文 参考訳（メタデータ） (2022-09-15T16:00:04Z) - Pyramid Adversarial Training Improves ViT Performance [43.322865996422664]
ピラミッド逆行訓練は、ViTの全体的な性能を改善するためのシンプルで効果的な技術である。
これにより、ImageNet-1Kデータでのみトレーニングされた場合、ViT-Bモデルに対して、ImageNetのクリーンな精度が1.82%$で絶対的に向上する。
論文 参考訳（メタデータ） (2021-11-30T04:38:14Z) - Adversarial robustness against multiple $l_p$-threat models at the price
of one and how to quickly fine-tune robust models to another threat model [79.05253587566197]
対向的堅牢性を実現するために, 対向的トレーニング (AT) を単一$l_p$-threatモデルで行うことが広く議論されている。
本稿では,$l_p$-threatモデルの結合に対する対角的ロバスト性を実現するための,シンプルで効率的なトレーニング手法を開発する。
論文 参考訳（メタデータ） (2021-05-26T12:20:47Z) - Rethinking the Design Principles of Robust Vision Transformer [28.538786330184642]
視覚トランスフォーマー (vit) は、従来の畳み込みニューラルネットワーク (cnns) をほとんどの視覚タスクで上回っていることを示した。
本稿では, ViTs の設計原理を堅牢性に基づいて再考する。
堅牢な設計部品を組み合わせることで、ロバストビジョントランス(RVT)を提案します。
論文 参考訳（メタデータ） (2021-05-17T15:04:15Z) - Contrastive Learning with Stronger Augmentations [63.42057690741711]
本論文では,現在のコントラスト学習のアプローチを補完する,より強い拡張(A)によるコントラスト学習という汎用フレームワークを提案する。
ここでは、表現バンク上の弱強調画像と強拡張画像との間の分布のばらつきを利用して、強拡張クエリの検索を監督する。
実験では、強力な画像からの情報により、パフォーマンスが大幅に向上します。
論文 参考訳（メタデータ） (2021-04-15T18:40:04Z) - On the Adversarial Robustness of Visual Transformers [129.29523847765952]
本研究は、視覚変換器(ViT)の対逆的摂動に対する堅牢性に関する最初の包括的な研究を提供する。
さまざまなホワイトボックスとトランスファーアタック設定でテストされた ViT は、畳み込みニューラルネットワーク (CNN) と比較して、より優れた敵対的堅牢性を持っています。
論文 参考訳（メタデータ） (2021-03-29T14:48:24Z) - Revisiting ResNets: Improved Training and Scaling Strategies [54.0162571976267]
トレーニングとスケーリングの戦略は、アーキテクチャの変更よりも重要であり、その結果、ResNetは最新のモデルと一致します。
ベストパフォーマンスなスケーリング戦略は、トレーニング体制に依存することを示します。
私たちは、ResNetアーキテクチャのファミリー、ResNet-RSを設計します。ResNet-RSは、TPU上のEfficientNetsよりも1.7倍 - 2.7倍高速です。
論文 参考訳（メタデータ） (2021-03-13T00:18:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。