論文の概要: Fast AdvProp

• arxiv url: http://arxiv.org/abs/2204.09838v1
• Date: Thu, 21 Apr 2022 01:23:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-22 13:20:16.096903
• Title: Fast AdvProp
• Title（参考訳）: 高速advprop
• Authors: Jieru Mei, Yucheng Han, Yutong Bai, Yixiao Zhang, Yingwei Li, Xianhang Li, Alan Yuille, Cihang Xie
• Abstract要約: 我々は,AdvPropの高価なトレーニングコンポーネントを改良したFast AdvPropを紹介する。 特に、Fast AdvPropにおける我々の修正は、対角学習と対角学習が性能改善の鍵であるという仮説によって導かれる。 Fast AdvPropは、余分なトレーニングコストを伴わずに、さまざまなビジュアルベンチマークのパフォーマンスをモデル化することができる。
• 参考スコア（独自算出の注目度）: 31.644251426337593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial Propagation (AdvProp) is an effective way to improve recognition models, leveraging adversarial examples. Nonetheless, AdvProp suffers from the extremely slow training speed, mainly because: a) extra forward and backward passes are required for generating adversarial examples; b) both original samples and their adversarial counterparts are used for training (i.e., 2$\times$ data). In this paper, we introduce Fast AdvProp, which aggressively revamps AdvProp's costly training components, rendering the method nearly as cheap as the vanilla training. Specifically, our modifications in Fast AdvProp are guided by the hypothesis that disentangled learning with adversarial examples is the key for performance improvements, while other training recipes (e.g., paired clean and adversarial training samples, multi-step adversarial attackers) could be largely simplified. Our empirical results show that, compared to the vanilla training baseline, Fast AdvProp is able to further model performance on a spectrum of visual benchmarks, without incurring extra training cost. Additionally, our ablations find Fast AdvProp scales better if larger models are used, is compatible with existing data augmentation methods (i.e., Mixup and CutMix), and can be easily adapted to other recognition tasks like object detection. The code is available here: https://github.com/meijieru/fast_advprop.
• Abstract（参考訳）: adversarial propagation (advprop)は、adversarial例を利用して認識モデルを改善する効果的な方法である。 それにもかかわらず、AdvPropのトレーニング速度は非常に遅い。 a) 反対例を生成するには,追加の前方及び後方パスが必要である。 b) 元のサンプルと、その逆のサンプルの両方が訓練に使用される(すなわち、2$\times$ data)。 本稿では,advpropの高価なトレーニングコンポーネントを積極的に改良し,バニラトレーニングと同程度の安価化を図るfast advpropを提案する。 特に、Fast AdvPropにおける我々の修正は、非交互学習がパフォーマンス改善の鍵であり、他のトレーニングレシピ(例えば、ペアのクリーンで逆行的なトレーニングサンプル、マルチステップの逆行攻撃)は大幅に単純化されるという仮説によって導かれる。 我々の経験的結果は、バニラトレーニングベースラインと比較して、Fast AdvPropは、余分なトレーニングコストを伴わずに、様々なビジュアルベンチマークでパフォーマンスをモデル化できることを示している。 さらに、より大規模なモデルを使用する場合、高速なAdvPropスケールが向上し、既存のデータ拡張メソッド(MixupやCutMixなど)と互換性があり、オブジェクト検出などの他の認識タスクに容易に適応できます。 コードは、https://github.com/meijieru/fast_advprop.comで入手できる。

関連論文リスト

• One Prompt Word is Enough to Boost Adversarial Robustness for Pre-trained Vision-Language Models [7.308611036454601]
  本研究は、テキストプロンプトの新たな視点から、視覚言語モデル(VLM)の対角的ロバスト性について研究する。 本稿では,VLMの頑健なテキストプロンプトを学習することで,敵攻撃に対するレジリエンスを向上させる手法を提案する。 提案手法はAPT (Adversarial Prompt Tuning) と名付けられ, 計算とデータ効率の両面において有効である。
  論文  参考訳（メタデータ） (2024-03-04T08:59:32Z)
• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• PaReprop: Fast Parallelized Reversible Backpropagation [6.901732343162485]
  非常にメモリ効率のよいトレーニングのためのエキサイティングな新しい方法として、可逆変換器が導入されている。 それらは、バックプロパゲーションフェーズにおけるアクティベーション再計算のさらなる計算オーバーヘッドを伴っている。 本稿では,高速並列化可逆バックプロパゲーションアルゴリズムPaRepropを提案する。
  論文  参考訳（メタデータ） (2023-06-15T17:59:32Z)
• LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
  機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。 固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。 我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-28T09:53:05Z)
• Adversarial Unlearning: Reducing Confidence Along Adversarial Directions [88.46039795134993]
  本稿では,自己生成事例の信頼性を低下させる補完的な正規化戦略を提案する。 RCADと呼ばれるこの手法は、トレーニング損失を増やすために反対に選択された方向に沿って横たわっている流通外の事例に対する信頼性を低下させることを目的としている。 その単純さにもかかわらず、多くの分類ベンチマークでは、RCADを既存の技術に追加して、絶対値の1～3%の精度でテストできることがわかった。
  論文  参考訳（メタデータ） (2022-06-03T02:26:24Z)
• $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial Training [11.241749205970253]
  トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。 本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2～3倍高速化する。
  論文  参考訳（メタデータ） (2021-12-01T09:55:01Z)
• MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge [72.16021611888165]
  本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。 提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。 以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-26T21:15:17Z)
• Towards Speeding up Adversarial Training in Latent Spaces [8.054201249492582]
  そこで本研究では,現実の敵の例を生成する必要のない,新たな敵の訓練手法を提案する。 我々は、多様体の理論により内在的逆例(EAEs)の存在について深い洞察を得る。 EAE対人訓練はトレーニング時間を短縮するだけでなく、モデルの堅牢性を高める。
  論文  参考訳（メタデータ） (2021-02-01T06:30:32Z)
• Bag of Tricks for Adversarial Training [50.53525358778331]
  アドリアリトレーニングは、モデルの堅牢性を促進するための最も効果的な戦略の1つである。 最近のベンチマークでは、提案されたATの改良のほとんどは、単にトレーニング手順を早期に停止するよりも効果が低いことが示されている。
  論文  参考訳（メタデータ） (2020-10-01T15:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。