論文の概要: Scaling in Depth: Unlocking Robustness Certification on ImageNet

• arxiv url: http://arxiv.org/abs/2301.12549v2
• Date: Fri, 2 Jun 2023 17:39:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 20:07:52.408109
• Title: Scaling in Depth: Unlocking Robustness Certification on ImageNet
• Title（参考訳）: 深さのスケーリング - ImageNetによるロバストネス認証のアンロック
• Authors: Kai Hu, Andy Zou, Zifan Wang, Klas Leino, Matt Fredrikson
• Abstract要約: 本稿では,より大規模でより深いモデルに頑健なトレーニングを拡大するための戦略について検討する。 従来のResNetに対するリプシッツ定数のバウンディングの高速な方法が緩やかであることを示し、新しい残差ブロックを設計してこの問題に対処する方法を示す。 私たちはImageNetに高速な決定論的堅牢性保証をスケールアップすることができ、この堅牢性学習へのアプローチが現実世界のアプリケーションに適用可能であることを実証しています。
• 参考スコア（独自算出の注目度）: 33.1537722556033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the promise of Lipschitz-based methods for provably-robust deep learning with deterministic guarantees, current state-of-the-art results are limited to feed-forward Convolutional Networks (ConvNets) on low-dimensional data, such as CIFAR-10. This paper investigates strategies for expanding certifiably robust training to larger, deeper models. A key challenge in certifying deep networks is efficient calculation of the Lipschitz bound for residual blocks found in ResNet and ViT architectures. We show that fast ways of bounding the Lipschitz constant for conventional ResNets are loose, and show how to address this by designing a new residual block, leading to the \emph{Linear ResNet} (LiResNet) architecture. We then introduce \emph{Efficient Margin MAximization} (EMMA), a loss function that stabilizes robust training by simultaneously penalizing worst-case adversarial examples from \emph{all} classes. Together, these contributions yield new \emph{state-of-the-art} robust accuracy on CIFAR-10/100 and Tiny-ImageNet under $\ell_2$ perturbations. Moreover, for the first time, we are able to scale up fast deterministic robustness guarantees to ImageNet, demonstrating that this approach to robust learning can be applied to real-world applications. We release our code on Github: \url{https://github.com/klasleino/gloro}.
• Abstract（参考訳）: リプシッツに基づく決定論的保証による確固たるロバスト深層学習手法の約束にもかかわらず、現在の最先端の結果はcifar-10のような低次元データに対するフィードフォワード畳み込みネットワーク(convnets)に限定されている。 本稿では,より大規模でより深いモデルに頑健なトレーニングを拡大するための戦略を検討する。 ディープネットワークの認証における重要な課題は、ResNetやViTアーキテクチャに見られる残差ブロックに対するリプシッツ境界の効率的な計算である。 従来のresnetに対するリプシッツ定数のバウンド方法がゆるいことを示すとともに、新しい残差ブロックを設計することにより、これに対処する方法を示し、これを \emph{linear resnet} (liresnet) アーキテクチャへと導く。 次に,emph{ efficient margin maximization} (emma) を導入する。これは,emph{all}クラスから最悪の例を同時にペナルタライズすることで,堅牢なトレーニングを安定化するロス関数である。 これらの貢献により、CIFAR-10/100とTiny-ImageNetで$\ell_2$の摂動の下で、新しいemph{state-of-the-art}の堅牢な精度が得られる。 さらに、我々は初めて、高速決定論的ロバストネス保証をimagenetにスケールアップすることができ、このロバスト学習アプローチが現実世界のアプリケーションに適用可能であることを実証する。 私たちはコードをgithubでリリースしています。

関連論文リスト

• A Recipe for Improved Certifiable Robustness [35.04363084213627]
  近年の研究は、リプシッツをベースとした、敵の攻撃に対して確実に堅牢なニューラルネットワークを訓練する手法の可能性を強調している。 リプシッツに基づく認証手法の可能性を明らかにするため、より包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-04T01:18:59Z)
• Certified Robust Models with Slack Control and Large Lipschitz Constants [102.69689641398227]
  本稿では,2つの問題に対処するCalibrated Lipschitz-Margin Loss (CLL)を提案する。 第一に、一般的に使用されるマージン損失は、縮小する出力分布に対する罰則を調整しない。 第二に、$K$の最小化は過度に滑らかな決定関数をもたらす。 我々のCLLは、損失w.r.t.マージンとリプシッツ定数を明示的に調整することでこれらの問題に対処する。
  論文  参考訳（メタデータ） (2023-09-12T12:23:49Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
  我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。 我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
  論文  参考訳（メタデータ） (2022-10-04T17:55:27Z)
• Almost-Orthogonal Layers for Efficient General-Purpose Lipschitz Networks [23.46030810336596]
  我々は小さなリプシッツ定数を持つディープネットワークを構築するための新しい手法を提案する。 リプシッツ定数の形式的な保証を提供し、実装が容易で、実行が効率的であり、任意のトレーニング目標と最適化メソッドと組み合わせることができる。 画像分類の文脈における実験とアブレーション研究により、AOL層が既存のほとんどの手法と同等の結果を得ることを確認した。
  論文  参考訳（メタデータ） (2022-08-05T13:34:33Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
  残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-25T07:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。