論文の概要: Boosting the Certified Robustness of L-infinity Distance Nets
- arxiv url: http://arxiv.org/abs/2110.06850v1
- Date: Wed, 13 Oct 2021 16:43:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-14 12:55:59.289165
- Title: Boosting the Certified Robustness of L-infinity Distance Nets
- Title（参考訳）: L-無限距離ネットの認証ロバスト性向上
- Authors: Bohang Zhang, Du Jiang, Di He, Liwei Wang
- Abstract要約: 我々は、そのトレーニングプロセスの注意深く分析することで、$ell_infty$-distance netの証明されたロバスト性を大幅に向上する。
本稿では,拡大エントロピー損失とクリッピングヒンジ損失を組み合わせた新たな目的関数を提案する。
実験の結果,提案手法を用いることで,$ell_infty$-distance netの精度を劇的に向上できることがわかった。
- 参考スコア（独自算出の注目度）: 26.222129689713764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, Zhang et al. (2021) developed a new neural network architecture
based on $\ell_\infty$-distance functions, which naturally possesses certified
robustness by its construction. Despite the excellent theoretical properties,
the model so far can only achieve comparable performance to conventional
networks. In this paper, we significantly boost the certified robustness of
$\ell_\infty$-distance nets through a careful analysis of its training process.
In particular, we show the $\ell_p$-relaxation, a crucial way to overcome the
non-smoothness of the model, leads to an unexpected large Lipschitz constant at
the early training stage. This makes the optimization insufficient using hinge
loss and produces sub-optimal solutions. Given these findings, we propose a
simple approach to address the issues above by using a novel objective function
that combines a scaled cross-entropy loss with clipped hinge loss. Our
experiments show that using the proposed training strategy, the certified
accuracy of $\ell_\infty$-distance net can be dramatically improved from 33.30%
to 40.06% on CIFAR-10 ($\epsilon=8/255$), meanwhile significantly outperforming
other approaches in this area. Such a result clearly demonstrates the
effectiveness and potential of $\ell_\infty$-distance net for certified
robustness.
- Abstract（参考訳）: Zhang et al. (2021)は、$\ell_\infty$-distance関数に基づく新しいニューラルネットワークアーキテクチャを開発した。
優れた理論的特性にもかかわらず、これまでのモデルでは従来のネットワークと同等の性能しか達成できない。
本稿では,そのトレーニングプロセスの注意深い解析により,$\ell_\infty$-distance netの信頼性を著しく向上する。
特に、モデルの非滑らかさを克服する重要な方法である$\ell_p$-relaxationが、初期のトレーニング段階で予期せぬ大きなリプシッツ定数をもたらすことを示している。
これにより、ヒンジ損失による最適化が不十分になり、準最適解が生成される。
そこで本研究では, スケールドクロスエントロピー損失とクリップングヒンジ損失を組み合わせた新しい目的関数を用いて, 上記の問題に対処するための簡易な手法を提案する。
実験では,提案手法を用いて,cifar-10 (\epsilon=8/255$) の認証精度を33.30%から40.06%まで劇的に向上させることができた。
このような結果は、証明された堅牢性に対する$\ell_\infty$-distance netの有効性と可能性を明確に示している。
関連論文リスト
- Controlled Sparsity via Constrained Optimization or: How I Learned to
Stop Tuning Penalties and Love Constraints [81.46143788046892]
スパースラーニングを行う際には,スパーシティのレベルを制御するタスクに焦点をあてる。
スパーシリティを誘発する罰則に基づく既存の方法は、ペナルティファクターの高価な試行錯誤チューニングを含む。
本稿では,学習目標と所望のスパーシリティ目標によって,エンドツーエンドでスペーシフィケーションをガイドする制約付き定式化を提案する。
論文 参考訳（メタデータ） (2022-08-08T21:24:20Z) - Towards Alternative Techniques for Improving Adversarial Robustness:
Analysis of Adversarial Training at a Spectrum of Perturbations [5.18694590238069]
逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。
私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。
ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
論文 参考訳（メタデータ） (2022-06-13T22:01:21Z) - Sparsity Winning Twice: Better Robust Generalization from More Efficient
Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。
いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。
我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文 参考訳（メタデータ） (2022-02-20T15:52:08Z) - Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。
CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
論文 参考訳（メタデータ） (2021-10-25T07:12:53Z) - Boost Neural Networks by Checkpoints [9.411567653599358]
本稿では,ディープニューラルネットワーク(DNN)のチェックポイントをアンサンブルする新しい手法を提案する。
同じトレーニング予算で,Cifar-100では4.16%,Tiny-ImageNetでは6.96%,ResNet-110アーキテクチャでは6.96%の誤差を達成した。
論文 参考訳（メタデータ） (2021-10-03T09:14:15Z) - Boosting Certified $\ell_\infty$ Robustness with EMA Method and Ensemble
Model [0.0]
本稿では,$ell_infty$-normニューラルネットワークのトレーニングプロセスを改善するためのEMA法を提案する。
トレーニングアルゴリズムのランダム性を考慮して,1ドルのLipschitz特性を持つトレーニングベースモデルに基づくアンサンブル手法を提案する。
証明されたロバスト性に基づく1ドルのLipschitz特性に基づくアンサンブル法の理論解析を行い、アルゴリズムの有効性と安定性を保証する。
論文 参考訳（メタデータ） (2021-07-01T06:01:12Z) - Dep-$L_0$: Improving $L_0$-based Network Sparsification via Dependency
Modeling [6.081082481356211]
L_0$正規化によるディープニューラルネットワークのトレーニングは、ネットワークプルーニングやスパシフィケーションの顕著なアプローチのひとつだ。
本稿では,ImageNet上のResNet50のような大規模学習タスクに対して一貫性のない処理を行うことを示す。
本稿では,多層パーセプトロンとして効果的にモデル化できるバイナリゲートの依存性モデリングを提案する。
論文 参考訳（メタデータ） (2021-06-30T19:33:35Z) - A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via
Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:50:15Z) - Do Wider Neural Networks Really Help Adversarial Robustness? [92.8311752980399]
モデルロバスト性は自然精度と摂動安定性のトレードオフと密接に関係していることを示す。
本稿では,ワイドモデル上でラムダ$を適応的に拡大するWidth Adjusted Regularization(WAR)手法を提案する。
論文 参考訳（メタデータ） (2020-10-03T04:46:17Z) - Towards Practical Lottery Ticket Hypothesis for Adversarial Training [78.30684998080346]
トレーニングプロセス中にはるかに高速に収束する,前述のサブネットワークのサブセットが存在することを示す。
本研究の実践的応用として,このようなサブネットワークは,対人訓練の総時間を短縮する上で有効であることを示す。
論文 参考訳（メタデータ） (2020-03-06T03:11:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。