論文の概要: Scaling Compute Is Not All You Need for Adversarial Robustness
- arxiv url: http://arxiv.org/abs/2312.13131v1
- Date: Wed, 20 Dec 2023 15:51:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 15:05:52.115448
- Title: Scaling Compute Is Not All You Need for Adversarial Robustness
- Title（参考訳）: 計算のスケーリングは、敵のロバストさに必要ではない
- Authors: Edoardo Debenedetti, Zishen Wan, Maksym Andriushchenko, Vikash Sehwag,
Kshitij Bhardwaj, Bhavya Kailkhura
- Abstract要約: その結果, eftMadry2018では44%から, citetpeng2023robustでは71%に改善した。
最高の性能モデルは、しばしば計算予算の大きい工業研究所によって逆行的に訓練された非常に大きなモデルである。
- 参考スコア（独自算出の注目度）: 37.05579962005241
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The last six years have witnessed significant progress in adversarially
robust deep learning. As evidenced by the CIFAR-10 dataset category in
RobustBench benchmark, the accuracy under $\ell_\infty$ adversarial
perturbations improved from 44\% in \citet{Madry2018Towards} to 71\% in
\citet{peng2023robust}. Although impressive, existing state-of-the-art is still
far from satisfactory. It is further observed that best-performing models are
often very large models adversarially trained by industrial labs with
significant computational budgets. In this paper, we aim to understand: ``how
much longer can computing power drive adversarial robustness advances?" To
answer this question, we derive \emph{scaling laws for adversarial robustness}
which can be extrapolated in the future to provide an estimate of how much cost
we would need to pay to reach a desired level of robustness. We show that
increasing the FLOPs needed for adversarial training does not bring as much
advantage as it does for standard training in terms of performance
improvements. Moreover, we find that some of the top-performing techniques are
difficult to exactly reproduce, suggesting that they are not robust enough for
minor changes in the training setup. Our analysis also uncovers potentially
worthwhile directions to pursue in future research. Finally, we make our
benchmarking framework (built on top of \texttt{timm}~\citep{rw2019timm})
publicly available to facilitate future analysis in efficient robust deep
learning.
- Abstract（参考訳）: 過去6年間、敵対的に堅牢なディープラーニングが著しい進歩を遂げてきた。
RobustBenchベンチマークのCIFAR-10データセットカテゴリで証明されたように、$\ell_\infty$ 逆方向の摂動の精度は \citet{Madry2018Towards} の44 %から \citet{peng2023robust} の71 %に改善された。
印象的ではあるが、既存の最先端技術はまだ満足には程遠い。
さらに、最高のパフォーマンスモデルはしばしば、重要な計算予算を持つ工業研究所によって反対に訓練された非常に大きなモデルであることも観察されている。
本稿では,「パワードライブの逆ロバスト性は,どれくらい長く計算できるのか?」を理解することを目的とする。
この質問に答えるために、我々は将来的に外挿できる「敵の強靭性に関するemph{scaling law}」という法則を導出し、望まれる強靭性レベルに達するのにどれだけの費用を支払わなければならないかを見積もる。
対人訓練に必要となるFLOPの増加は、性能改善の点において、標準的なトレーニングほど有利ではないことを示す。
さらに,トップパフォーマンス手法のいくつかは正確な再現が困難であることから,トレーニング設定の微妙な変更には不十分であることが示唆された。
我々の分析は、将来の研究を追求する価値のある方向も明らかにしている。
最後に、効率的な堅牢なディープラーニングにおける将来の分析を容易にするため、ベンチマークフレームワーク(texttt{timm}~\citep{rw2019timm})を公開しています。
関連論文リスト
- Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-01T06:16:18Z) - Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。
本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。
以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
論文 参考訳（メタデータ） (2023-06-25T15:53:31Z) - Raising the Bar for Certified Adversarial Robustness with Diffusion
Models [9.684141378657522]
本研究では,同様のアプローチが決定論的証明された防御を著しく改善できることを実証する。
主な洞察の1つは、元のモデルのトレーニングとテストの精度の違いは、改善の規模を予測できることです。
提案手法は,CIFAR-10 上で $ell$ ($epsilon = 36/255$) および $ell_infty$ ($epsilon = 8/255$) 脅威モデルに対して,最先端の決定論的堅牢性証明を実現する。
論文 参考訳（メタデータ） (2023-05-17T17:29:10Z) - Sparsity Winning Twice: Better Robust Generalization from More Efficient
Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。
いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。
我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文 参考訳（メタデータ） (2022-02-20T15:52:08Z) - Data Augmentation Can Improve Robustness [21.485435979018256]
アドリアルトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。
モデルウェイト平均化と組み合わせることで、データの増大がロバストな精度を大幅に向上させることを示した。
特に、$ell_infty$ 標準束縛されたサイズ $epsilon = 8/255$ の摂動に対して、我々のモデルは外部データを使わずに60.07%の堅牢な精度に達する。
論文 参考訳（メタデータ） (2021-11-09T18:57:00Z) - DRILL-- Deep Reinforcement Learning for Refinement Operators in
$\mathcal{ALC}$ [1.9036571490366496]
本稿では,畳み込み型Q-ラーニングモデルを用いた新しいクラス表現学習手法DRILLを提案する。
そのアーキテクチャにより、DRILLは標準ハードウェア上で1秒で103ドル以上のクラス表現の期待値の累積的な将来の報酬を計算することができる。
論文 参考訳（メタデータ） (2021-06-29T12:57:45Z) - Fixing Data Augmentation to Improve Adversarial Robustness [21.485435979018256]
相手のトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。
本稿では,強固な過剰フィッティングを減らす手段として,adversarials-drivenとdata-driven additionationの両方に注目した。
従来の最先端手法に比べて,+7.06%と+5.88%の絶対値が大幅に向上した。
論文 参考訳（メタデータ） (2021-03-02T18:58:33Z) - RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。
我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。
分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
論文 参考訳（メタデータ） (2020-10-19T17:06:18Z) - Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。
提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
論文 参考訳（メタデータ） (2020-03-28T18:28:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。