論文の概要: Certified Robustness via Dynamic Margin Maximization and Improved Lipschitz Regularization

• arxiv url: http://arxiv.org/abs/2310.00116v2
• Date: Wed, 22 Nov 2023 22:29:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 03:16:22.992646
• Title: Certified Robustness via Dynamic Margin Maximization and Improved Lipschitz Regularization
• Title（参考訳）: 動的マージン最大化とリプシッツ正規化の改善による認証ロバストネス
• Authors: Mahyar Fazlyab, Taha Entesari, Aniket Roy, Rama Chellappa
• Abstract要約: 我々は、弱い方向に沿ってモデルのリプシッツ定数を規則化しながら、出力(ロジット)空間のマージンを増大させる頑健なトレーニングアルゴリズムを開発する。 境界の相対的精度は過剰な正規化を防ぎ、決定境界をより直接的に操作することができる。 MNIST, CIFAR-10 および Tiny-ImageNet データセットを用いた実験により,提案アルゴリズムが最先端技術と比較して競争力に向上した結果が得られることを確認した。
• 参考スコア（独自算出の注目度）: 43.98504250013897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To improve the robustness of deep classifiers against adversarial perturbations, many approaches have been proposed, such as designing new architectures with better robustness properties (e.g., Lipschitz-capped networks), or modifying the training process itself (e.g., min-max optimization, constrained learning, or regularization). These approaches, however, might not be effective at increasing the margin in the input (feature) space. As a result, there has been an increasing interest in developing training procedures that can directly manipulate the decision boundary in the input space. In this paper, we build upon recent developments in this category by developing a robust training algorithm whose objective is to increase the margin in the output (logit) space while regularizing the Lipschitz constant of the model along vulnerable directions. We show that these two objectives can directly promote larger margins in the input space. To this end, we develop a scalable method for calculating guaranteed differentiable upper bounds on the Lipschitz constant of neural networks accurately and efficiently. The relative accuracy of the bounds prevents excessive regularization and allows for more direct manipulation of the decision boundary. Furthermore, our Lipschitz bounding algorithm exploits the monotonicity and Lipschitz continuity of the activation layers, and the resulting bounds can be used to design new layers with controllable bounds on their Lipschitz constant. Experiments on the MNIST, CIFAR-10, and Tiny-ImageNet data sets verify that our proposed algorithm obtains competitively improved results compared to the state-of-the-art.
• Abstract（参考訳）: 逆摂動に対する深い分類器のロバスト性を改善するために、よりロバストな特性を持つ新しいアーキテクチャ(例えば、リプシッツ型ネットワーク)の設計や、トレーニングプロセス自体の変更(例えば、min-max最適化、制約付き学習、正規化)など、多くのアプローチが提案されている。 しかし、これらのアプローチは入力(機能)スペースのマージンを増やすのに効果的ではないかもしれない。 その結果、入力空間における決定境界を直接操作できる訓練手順の開発への関心が高まっている。 本稿では,弱い方向に沿ってモデルのリプシッツ定数を正則化しながら,出力(ロジット)空間のマージンを増大させることを目的とする頑健な学習アルゴリズムを開発することにより,このカテゴリの最近の発展の上に構築する。 これらの2つの目的が入力空間におけるより大きなマージンを直接促進できることを示す。 そこで本研究では,ニューラルネットワークのリプシッツ定数の微分可能上限を高精度かつ効率的に計算するスケーラブルな手法を開発した。 境界の相対的精度は過剰な正規化を防ぎ、決定境界をより直接的に操作できる。 さらに、このリプシッツ境界アルゴリズムでは、活性化層の単調性とリプシッツ連続性を利用して、リプシッツ定数に制御可能な境界を持つ新しい層を設計することができる。 MNIST, CIFAR-10 および Tiny-ImageNet データセットを用いた実験により,提案アルゴリズムが最先端技術と比較して競争力に向上した結果が得られることを確認した。

関連論文リスト

• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation [79.13041340708395]
  リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。 既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。 ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2022-10-13T22:23:22Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Lipschitz Bounds and Provably Robust Training by Laplacian Smoothing [7.4769019455423855]
  リプシッツ制約による損失最小化の1つとして、逆向きに頑健な学習問題を定式化する。 関連するラグランジアンのサドル点は、重み付きラプラス作用素を持つポアソン方程式によって特徴づけられることを示す。 グラフに基づく入力空間の離散化と、ラグランジアンサドル点に収束する原始双対アルゴリズムを用いて、証明可能なロバストなトレーニングスキームを設計する。
  論文  参考訳（メタデータ） (2020-06-05T22:02:21Z)
• Training robust neural networks using Lipschitz bounds [0.0]
  ニューラルネットワーク(NN)は、安全クリティカルなアプリケーションではほとんど使われません。 逆の摂動に対するロバスト性の1つの尺度は、NNによって定義される入出力写像のリプシッツ定数である。 我々は,Lipschitz を一定に小さく保ちながら,強靭性を促進しつつ,多層NN のトレーニングを行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-06T16:07:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。