Fugu-MT 論文翻訳(概要): TAPS: Connecting Certified and Adversarial Training

論文の概要: TAPS: Connecting Certified and Adversarial Training

arxiv url: http://arxiv.org/abs/2305.04574v1
Date: Mon, 8 May 2023 09:32:05 GMT
ステータス: 処理完了
システム内更新日: 2023-05-09 14:59:06.974725
Title: TAPS: Connecting Certified and Adversarial Training
Title（参考訳）: taps: 認定と敵意のトレーニングをつなぐ
Authors: Yuhao Mao, Mark Niklas M\"uller, Marc Fischer, Martin Vechev
Abstract要約: TAPS(英: TAPS)は、IPPとPGDのトレーニングを組み合わせることで、必ずしも健全で最悪の損失近似を得られるわけではないが、正確な訓練方法である。例えば、TinyImageNetで22%の認証精度に達するなど、多くの設定で新しい最先端を実現している。
参考スコア（独自算出の注目度）: 5.161531917413708
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Training certifiably robust neural networks remains a notoriously hard problem. On one side, adversarial training optimizes under-approximations of the worst-case loss, which leads to insufficient regularization for certification, while on the other, sound certified training methods optimize loose over-approximations, leading to over-regularization and poor (standard) accuracy. In this work we propose TAPS, an (unsound) certified training method that combines IBP and PGD training to yield precise, although not necessarily sound, worst-case loss approximations, reducing over-regularization and increasing certified and standard accuracies. Empirically, TAPS achieves a new state-of-the-art in many settings, e.g., reaching a certified accuracy of $22\%$ on TinyImageNet for $\ell_\infty$-perturbations with radius $\epsilon=1/255$.
Abstract（参考訳）: 強靭なニューラルネットワークの訓練は、依然として難しい問題だ。一方、敵の訓練は最悪の損失の過度な近似を最適化し、認定の正規化が不十分になる一方、音響認定訓練手法は緩やかな過剰近似を最適化し、過度な正規化と(標準)精度の低下をもたらす。本研究は,ippとpgdの訓練を組み合わせることで,精度は高いが必ずしも高くないが,最悪の場合の損失近似を生じさせ,過正規化を低減し,認定と標準的誤認を増大させる,(不健全な)認定トレーニング手法であるtapsを提案する。例えば、TinyImageNetで、半径$\ell_\infty$-perturbationsと半径$\epsilon=1/255$の認証精度が22\%に達した。

関連論文リスト

Towards Universal Certified Robustness with Multi-Norm Training [4.188296977882316]
既存の訓練方法は、特定の摂動タイプに対して堅牢なモデルをトレーニングするのみである。我々は、新しい$l$決定論的認定トレーニングディフェンスからなる、最初のマルチノーム認定トレーニングフレームワーク textbfCURE を提案する。 SOTAの認定トレーニングと比較すると、textbfCUREはMNISTで22.8%、CIFAR-10で23.9%、TinyImagenetで8.0%のロバスト性を向上している。
論文参考訳（メタデータ） (2024-10-03T21:20:46Z)
Double Bubble, Toil and Trouble: Enhancing Certified Robustness through Transitivity [27.04033198073254]
ニューラルネットワークモデルの分類を反転させる微妙な敵の例に反応して、最近の研究は、ソリューションとして証明された堅牢性を促進している。我々は,今日の"最適"証明書が,認証の推移性と入力空間の幾何学の両方を活用することで,どのように改善できるかを示す。また, 得られた認定半径の4ドルパーセンテージを均一に増加させることにより, さらに有望な結果が得られた。
論文参考訳（メタデータ） (2022-10-12T10:42:21Z)
Removing Batch Normalization Boosts Adversarial Training [83.08844497295148]
敵の訓練(AT)は、敵の攻撃に対して深層ニューラルネットワークを防御する。主なボトルネックは、広く使われているバッチ正規化(BN)であり、ATにおけるクリーンなおよび敵対的なトレーニングサンプルの異なる統計をモデル化するのに苦労している。我々のNoFrost法は, 正規化自由ネットワークの最近の進歩をATに拡張する。
論文参考訳（メタデータ） (2022-07-04T01:39:37Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
Smooth-Reduce: Leveraging Patches for Improved Certified Robustness [100.28947222215463]
本研究では,Smooth-Reduce の学習自由な修正スムース化手法を提案する。提案アルゴリズムは,入力画像から抽出した重なり合うパッチを分類し,予測ロジットを集約して,入力周辺の半径が大きいことを証明する。我々は,このような証明書の理論的保証を提供し,他のランダムな平滑化手法に対する顕著な改善を実証的に示す。
論文参考訳（メタデータ） (2022-05-12T15:26:20Z)
Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文参考訳（メタデータ） (2022-02-20T15:52:08Z)
Boosting Certified $\ell_\infty$ Robustness with EMA Method and Ensemble Model [0.0]
本稿では,$ell_infty$-normニューラルネットワークのトレーニングプロセスを改善するためのEMA法を提案する。トレーニングアルゴリズムのランダム性を考慮して,1ドルのLipschitz特性を持つトレーニングベースモデルに基づくアンサンブル手法を提案する。証明されたロバスト性に基づく1ドルのLipschitz特性に基づくアンサンブル法の理論解析を行い、アルゴリズムの有効性と安定性を保証する。
論文参考訳（メタデータ） (2021-07-01T06:01:12Z)
Fast Certified Robust Training via Better Initialization and Shorter Warmup [95.81628508228623]
我々は,新しいIPPと原理正規化器を提案し,認証境界を安定化させる。バッチ正規化(BN)は、認定トレーニングのための最高のパフォーマンスのネットワークを構築するための重要なアーキテクチャ要素です。
論文参考訳（メタデータ） (2021-03-31T17:58:58Z)
Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
論文参考訳（メタデータ） (2020-02-07T18:34:31Z)
Fast is better than free: Revisiting adversarial training [86.11788847990783]
より弱く安価な敵を用いて、経験的に堅牢なモデルを訓練することが可能であることを示す。我々は,FGSM逆行訓練を失敗に導く「破滅的オーバーフィッティング(catastrophic overfitting)」と呼ばれる障害モードを特定した。
論文参考訳（メタデータ） (2020-01-12T20:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。