論文の概要: Scaling in Depth: Unlocking Robustness Certification on ImageNet

• arxiv url: http://arxiv.org/abs/2301.12549v1
• Date: Sun, 29 Jan 2023 21:40:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 16:31:21.895839
• Title: Scaling in Depth: Unlocking Robustness Certification on ImageNet
• Title（参考訳）: 深さのスケーリング - ImageNetによるロバストネス認証のアンロック
• Authors: Kai Hu, Andy Zou, Zifan Wang, Klas Leino, Matt Fredrikson
• Abstract要約: 本稿では,Residual Networks(ResNets)に対する堅牢なトレーニングのスケールアップ方法について検討する。 本稿では,従来の残差ブロックと比較して,アンフィタイザーリプシッツ境界の緩和を目的とした新しい残差ブロックを提案する。 我々は CIFAR-10/100 と Tiny-ImageNet を$ell$-norm-bounded 摂動下で, 最先端の高精度化を実現する。
• 参考スコア（独自算出の注目度）: 33.1537722556033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Notwithstanding the promise of Lipschitz-based approaches to \emph{deterministically} train and certify robust deep networks, the state-of-the-art results only make successful use of feed-forward Convolutional Networks (ConvNets) on low-dimensional data, e.g. CIFAR-10. Because ConvNets often suffer from vanishing gradients when going deep, large-scale datasets with many classes, e.g., ImageNet, have remained out of practical reach. This paper investigates ways to scale up certifiably robust training to Residual Networks (ResNets). First, we introduce the \emph{Linear ResNet} (LiResNet) architecture, which utilizes a new residual block designed to facilitate \emph{tighter} Lipschitz bounds compared to a conventional residual block. Second, we introduce Efficient Margin MAximization (EMMA), a loss function that stabilizes robust training by simultaneously penalizing worst-case adversarial examples from \emph{all} classes. Combining LiResNet and EMMA, we achieve new \emph{state-of-the-art} robust accuracy on CIFAR-10/100 and Tiny-ImageNet under $\ell_2$-norm-bounded perturbations. Moreover, for the first time, we are able to scale up deterministic robustness guarantees to ImageNet, bringing hope to the possibility of applying deterministic certification to real-world applications.
• Abstract（参考訳）: 強固なディープネットワークをトレーニングし、証明するためのlipschitzベースのアプローチの約束にもかかわらず、最先端の結果は低次元データ(例えばcifar-10)でフィードフォワード畳み込みネットワーク(convnets)を成功に活用するだけである。 ConvNetは、多くのクラス(例えばImageNet)を持つ大規模データセットの奥深くに進むと、勾配が消えることがしばしばある。 本稿では,Residual Networks (ResNets) に対する堅牢なトレーニングのスケールアップ方法について検討する。 まず,従来のリプシッツ境界に比べて,リプシッツ境界を容易にするように設計された新しい残差ブロックを用いて,リブネット(liresnet)アーキテクチャを導入する。 第二に、emph{all}クラスから最悪の逆例を同時にペナルティ化することにより、堅牢なトレーニングを安定化する損失関数であるEMMA(Efficient Margin MAximization)を導入する。 LiResNetとEMMAを組み合わせることで、CIFAR-10/100とTiny-ImageNetに対して、$\ell_2$-norm-boundedな摂動の下で、新しいemph{state-of-the-art}の堅牢な精度を実現する。 さらに、我々は初めて、決定論的ロバスト性保証をimagenetにスケールアップすることができ、現実世界のアプリケーションに決定論的認証を適用する可能性を期待できる。

関連論文リスト

• A Recipe for Improved Certifiable Robustness [35.04363084213627]
  近年の研究は、リプシッツをベースとした、敵の攻撃に対して確実に堅牢なニューラルネットワークを訓練する手法の可能性を強調している。 リプシッツに基づく認証手法の可能性を明らかにするため、より包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-04T01:18:59Z)
• Certified Robust Models with Slack Control and Large Lipschitz Constants [102.69689641398227]
  本稿では,2つの問題に対処するCalibrated Lipschitz-Margin Loss (CLL)を提案する。 第一に、一般的に使用されるマージン損失は、縮小する出力分布に対する罰則を調整しない。 第二に、$K$の最小化は過度に滑らかな決定関数をもたらす。 我々のCLLは、損失w.r.t.マージンとリプシッツ定数を明示的に調整することでこれらの問題に対処する。
  論文  参考訳（メタデータ） (2023-09-12T12:23:49Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
  我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。 我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
  論文  参考訳（メタデータ） (2022-10-04T17:55:27Z)
• Almost-Orthogonal Layers for Efficient General-Purpose Lipschitz Networks [23.46030810336596]
  我々は小さなリプシッツ定数を持つディープネットワークを構築するための新しい手法を提案する。 リプシッツ定数の形式的な保証を提供し、実装が容易で、実行が効率的であり、任意のトレーニング目標と最適化メソッドと組み合わせることができる。 画像分類の文脈における実験とアブレーション研究により、AOL層が既存のほとんどの手法と同等の結果を得ることを確認した。
  論文  参考訳（メタデータ） (2022-08-05T13:34:33Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
  残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-25T07:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。