Fugu-MT 論文翻訳(概要): A Recipe for Improved Certifiable Robustness

論文の概要: A Recipe for Improved Certifiable Robustness

arxiv url: http://arxiv.org/abs/2310.02513v2
Date: Sat, 22 Jun 2024 16:17:15 GMT
ステータス: 処理完了
システム内更新日: 2024-06-26 04:48:52.727176
Title: A Recipe for Improved Certifiable Robustness
Title（参考訳）: 認証ロバスト性向上のためのレシピ
Authors: Kai Hu, Klas Leino, Zifan Wang, Matt Fredrikson,
Abstract要約: 近年の研究は、リプシッツをベースとした、敵の攻撃に対して確実に堅牢なニューラルネットワークを訓練する手法の可能性を強調している。リプシッツに基づく認証手法の可能性を明らかにするため、より包括的な評価を行う。
参考スコア（独自算出の注目度）: 35.04363084213627
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent studies have highlighted the potential of Lipschitz-based methods for training certifiably robust neural networks against adversarial attacks. A key challenge, supported both theoretically and empirically, is that robustness demands greater network capacity and more data than standard training. However, effectively adding capacity under stringent Lipschitz constraints has proven more difficult than it may seem, evident by the fact that state-of-the-art approach tend more towards \emph{underfitting} than overfitting. Moreover, we posit that a lack of careful exploration of the design space for Lipshitz-based approaches has left potential performance gains on the table. In this work, we provide a more comprehensive evaluation to better uncover the potential of Lipschitz-based certification methods. Using a combination of novel techniques, design optimizations, and synthesis of prior work, we are able to significantly improve the state-of-the-art VRA for deterministic certification on a variety of benchmark datasets, and over a range of perturbation sizes. Of particular note, we discover that the addition of large ``Cholesky-orthogonalized residual dense'' layers to the end of existing state-of-the-art Lipschitz-controlled ResNet architectures is especially effective for increasing network capacity and performance. Combined with filtered generative data augmentation, our final results further the state of the art deterministic VRA by up to 8.5 percentage points\footnote{Code is available at \url{https://github.com/hukkai/liresnet}}.
Abstract（参考訳）: 近年の研究は、リプシッツをベースとした、敵の攻撃に対して確実に堅牢なニューラルネットワークを訓練する手法の可能性を強調している。理論的にも経験的にも支持される重要な課題は、ロバストネスが通常のトレーニングよりもネットワーク容量とデータ量を必要とすることだ。しかし、厳密なリプシッツ制約の下で効果的にキャパシティを追加することは、おそらくより難しいことが証明されている。さらに,Lipshitzをベースとしたアプローチの設計空間を慎重に探索する能力が欠如していることから,性能向上の可能性が示唆された。本研究では,リプシッツに基づく認証手法の可能性を明らかにするため,より包括的な評価を行う。新たな手法,設計最適化,先行作業の合成を組み合わせることで,さまざまなベンチマークデータセットに対する決定論的証明と,さまざまな摂動サイズに対して,最先端のVRAを大幅に改善することができる。特に,既存技術であるリプシッツ制御ResNetアーキテクチャの終端に 'Cholesky-orthogonalized residual dense'' 層を追加することは,ネットワーク容量と性能の向上に特に有効である。フィルタリング生成データ拡張と組み合わせて、最終結果は、最先端の決定論的VRAを最大8.5ポイント向上させる。

関連論文リスト

Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness [47.9744734181236]
我々は、ディープニューラルネットワーク(DNN)の敵攻撃に対する堅牢性を証明するために、リプシッツ連続性の概念を探求する。本稿では,入力領域を制約範囲に再マップし,リプシッツ定数を低減し,ロバスト性を高める新しいアルゴリズムを提案する。本手法は,ロバストベンチリーダーボード上のCIFAR10,CIFAR100,ImageNetデータセットに対して,最も堅牢な精度を実現する。
論文参考訳（メタデータ） (2024-06-28T03:10:36Z)
Compositional Estimation of Lipschitz Constants for Deep Neural Networks [0.8993153817914281]
リプシッツ定数は、摂動や敵攻撃を入力するためのニューラルネットワークの堅牢性を証明する上で重要な役割を果たす。本稿では,ディープフィードフォワードニューラルネットワークにおけるリプシッツ定数を推定するための構成的アプローチを提案する。
論文参考訳（メタデータ） (2024-04-05T19:36:26Z)
Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
論文参考訳（メタデータ） (2023-05-25T15:32:21Z)
A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文参考訳（メタデータ） (2023-03-06T14:31:09Z)
Unlocking Deterministic Robustness Certification on ImageNet [39.439003787779434]
本稿では,より大規模でより深いモデルに頑健なトレーニングを拡大するための戦略について検討する。従来のResNetに対するリプシッツ定数のバウンディングの高速な方法が緩やかであることを示し、新しい残差ブロックを設計してこの問題に対処する方法を示す。私たちはImageNetに高速な決定論的堅牢性保証をスケールアップすることができ、この堅牢性学習へのアプローチが現実世界のアプリケーションに適用可能であることを実証しています。
論文参考訳（メタデータ） (2023-01-29T21:40:04Z)
Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
論文参考訳（メタデータ） (2022-10-04T17:55:27Z)
Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
論文参考訳（メタデータ） (2022-04-02T11:57:52Z)
Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文参考訳（メタデータ） (2021-11-02T06:44:10Z)
Coresets for Robust Training of Neural Networks against Noisy Labels [78.03027938765746]
本稿では,雑音ラベルで訓練したディープネットワークの堅牢なトレーニングのための理論的保証を強く備えた新しい手法を提案する。我々は、ほぼ低ランクのヤコビ行列を提供するクリーンなデータポイントの重み付き部分集合(コアセット)を選択する。我々の実験は、我々の理論を裏付け、我々のサブセットで訓練されたディープネットワークが、最先端技術よりもはるかに優れたパフォーマンスを達成することを示した。
論文参考訳（メタデータ） (2020-11-15T04:58:11Z)
Improve Adversarial Robustness via Weight Penalization on Classification Layer [20.84248493946059]
ディープニューラルネットワークは敵の攻撃に弱い。近年の研究では、よく設計された分類部品がより堅牢性をもたらすことが示されている。我々は,新しい軽量化防御法を開発した。
論文参考訳（メタデータ） (2020-10-08T08:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。