論文の概要: A Recipe for Improved Certifiable Robustness: Capacity and Data
- arxiv url: http://arxiv.org/abs/2310.02513v1
- Date: Wed, 4 Oct 2023 01:18:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 17:02:28.527206
- Title: A Recipe for Improved Certifiable Robustness: Capacity and Data
- Title(参考訳): 認証ロバスト性向上のためのレシピ:容量とデータ
- Authors: Kai Hu, Klas Leino, Zifan Wang, Matt Fredrikson
- Abstract要約: 本稿では,リプシッツに基づく認証手法の可能性について検討する。
我々は,様々なベンチマークデータセットに対する決定論的証明のための,最先端の確固たる精度(VRA)を大幅に改善する。
- 参考スコア(独自算出の注目度): 38.28264917775918
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A key challenge, supported both theoretically and empirically, is that
robustness demands greater network capacity and more data than standard
training. However, effectively adding capacity under stringent Lipschitz
constraints has proven more difficult than it may seem, evident by the fact
that state-of-the-art approach tend more towards \emph{underfitting} than
overfitting. Moreover, we posit that a lack of careful exploration of the
design space for Lipshitz-based approaches has left potential performance gains
on the table. In this work, we provide a more comprehensive evaluation to
better uncover the potential of Lipschitz-based certification methods. Using a
combination of novel techniques, design optimizations, and synthesis of prior
work, we are able to significantly improve the state-of-the-art \emph{verified
robust accuracy} (VRA) for deterministic certification on a variety of
benchmark datasets, and over a range of perturbation sizes. Of particular note,
we discover that the addition of large "Cholesky-orthogonalized residual dense"
layers to the end of existing state-of-the-art Lipschitz-controlled ResNet
architectures is especially effective for increasing network capacity and
performance. Combined with filtered generative data augmentation, our final
results further the state of the art deterministic VRA by up to 8.5 percentage
points. Code is available at \url{https://github.com/hukkai/liresnet}.
- Abstract(参考訳): 理論的にも経験的にも重要な課題は、堅牢性が標準的なトレーニングよりもネットワーク容量とデータを必要とすることだ。
しかし、厳密なリプシッツ制約の下で効果的にキャパシティを追加することは、見かけ以上に困難であることが証明されており、最先端のアプローチがオーバーフィッティングよりも\emph{underfitting}に向けられているという事実から明らかである。
さらに,リプシッツを基盤とした設計空間の慎重な探索の欠如により,性能が向上する可能性が示唆された。
本稿では,lipschitzベースの認証手法の可能性を明らかにするため,より包括的な評価を行う。
新規な手法,設計最適化,先行作業の合成を組み合わせることで,様々なベンチマークデータセットに対する決定論的証明と,さまざまな摂動サイズに対して,最先端の<emph{verified robust accuracy} (VRA) を著しく向上させることができる。
特に,既存技術であるリプシッツ制御ResNetアーキテクチャの終端に,Cholesky-orthogonalized residual dense" 層を追加することは,ネットワーク容量と性能の向上に特に有効であることがわかった。
フィルタリング生成データ拡張と組み合わせて、最終結果は、最大8.5ポイントのアート決定性VRAの状態をさらに高めます。
コードは \url{https://github.com/hukkai/liresnet} で入手できる。
関連論文リスト
- Certified Robustness via Dynamic Margin Maximization and Improved
Lipschitz Regularization [43.98504250013897]
我々は、弱い方向に沿ってモデルのリプシッツ定数を規則化しながら、出力(ロジット)空間のマージンを増大させる頑健なトレーニングアルゴリズムを開発する。
境界の相対的精度は過剰な正規化を防ぎ、決定境界をより直接的に操作することができる。
MNIST, CIFAR-10 および Tiny-ImageNet データセットを用いた実験により,提案アルゴリズムが最先端技術と比較して競争力に向上した結果が得られることを確認した。
論文 参考訳(メタデータ) (2023-09-29T20:07:02Z) - Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram
Iteration [122.51142131506639]
循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。
提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。
これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
論文 参考訳(メタデータ) (2023-05-25T15:32:21Z) - Unlocking Deterministic Robustness Certification on ImageNet [39.439003787779434]
本稿では,より大規模でより深いモデルに頑健なトレーニングを拡大するための戦略について検討する。
従来のResNetに対するリプシッツ定数のバウンディングの高速な方法が緩やかであることを示し、新しい残差ブロックを設計してこの問題に対処する方法を示す。
私たちはImageNetに高速な決定論的堅牢性保証をスケールアップすることができ、この堅牢性学習へのアプローチが現実世界のアプリケーションに適用可能であることを実証しています。
論文 参考訳(メタデータ) (2023-01-29T21:40:04Z) - Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。
我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
論文 参考訳(メタデータ) (2022-10-04T17:55:27Z) - Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。
次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。
実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
論文 参考訳(メタデータ) (2022-07-13T22:55:04Z) - Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural
Networks [77.82638674792292]
ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。
リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。
本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
論文 参考訳(メタデータ) (2022-04-02T11:57:52Z) - Certifying Out-of-Domain Generalization for Blackbox Functions [20.997611019445657]
本稿では,2つの分布の平均距離と分散距離を限定した新しい認証フレームワークを提案する。
我々は、ImageNetを含む複数のデータセットに対して、認証手法を実験的に検証した。
論文 参考訳(メタデータ) (2022-02-03T16:47:50Z) - Training Certifiably Robust Neural Networks with Efficient Local
Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。
提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2021-11-02T06:44:10Z) - Coresets for Robust Training of Neural Networks against Noisy Labels [78.03027938765746]
本稿では,雑音ラベルで訓練したディープネットワークの堅牢なトレーニングのための理論的保証を強く備えた新しい手法を提案する。
我々は、ほぼ低ランクのヤコビ行列を提供するクリーンなデータポイントの重み付き部分集合(コアセット)を選択する。
我々の実験は、我々の理論を裏付け、我々のサブセットで訓練されたディープネットワークが、最先端技術よりもはるかに優れたパフォーマンスを達成することを示した。
論文 参考訳(メタデータ) (2020-11-15T04:58:11Z) - Debona: Decoupled Boundary Network Analysis for Tighter Bounds and
Faster Adversarial Robustness Proofs [2.1320960069210484]
ニューラルネットワークは、安全クリティカルな現実世界のアプリケーションで一般的に使用される。
このような敵の例が存在しないこと、あるいは具体的な例を提供することは、安全なアプリケーションを保証するために不可欠である。
畳み込みネットワークにおける最大プーリング層上層と下層の境界の厳密な証明を行う。
論文 参考訳(メタデータ) (2020-06-16T10:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。