Fugu-MT 論文翻訳(概要): A Recipe for Improved Certifiable Robustness: Capacity and Data

論文の概要: A Recipe for Improved Certifiable Robustness: Capacity and Data

arxiv url: http://arxiv.org/abs/2310.02513v1
Date: Wed, 4 Oct 2023 01:18:59 GMT
ステータス: 処理完了
システム内更新日: 2023-10-05 17:02:28.527206
Title: A Recipe for Improved Certifiable Robustness: Capacity and Data
Title（参考訳）: 認証ロバスト性向上のためのレシピ:容量とデータ
Authors: Kai Hu, Klas Leino, Zifan Wang, Matt Fredrikson
Abstract要約: 本稿では,リプシッツに基づく認証手法の可能性について検討する。我々は,様々なベンチマークデータセットに対する決定論的証明のための,最先端の確固たる精度(VRA)を大幅に改善する。
参考スコア（独自算出の注目度）: 38.28264917775918
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A key challenge, supported both theoretically and empirically, is that robustness demands greater network capacity and more data than standard training. However, effectively adding capacity under stringent Lipschitz constraints has proven more difficult than it may seem, evident by the fact that state-of-the-art approach tend more towards \emph{underfitting} than overfitting. Moreover, we posit that a lack of careful exploration of the design space for Lipshitz-based approaches has left potential performance gains on the table. In this work, we provide a more comprehensive evaluation to better uncover the potential of Lipschitz-based certification methods. Using a combination of novel techniques, design optimizations, and synthesis of prior work, we are able to significantly improve the state-of-the-art \emph{verified robust accuracy} (VRA) for deterministic certification on a variety of benchmark datasets, and over a range of perturbation sizes. Of particular note, we discover that the addition of large "Cholesky-orthogonalized residual dense" layers to the end of existing state-of-the-art Lipschitz-controlled ResNet architectures is especially effective for increasing network capacity and performance. Combined with filtered generative data augmentation, our final results further the state of the art deterministic VRA by up to 8.5 percentage points. Code is available at \url{https://github.com/hukkai/liresnet}.
Abstract（参考訳）: 理論的にも経験的にも重要な課題は、堅牢性が標準的なトレーニングよりもネットワーク容量とデータを必要とすることだ。しかし、厳密なリプシッツ制約の下で効果的にキャパシティを追加することは、見かけ以上に困難であることが証明されており、最先端のアプローチがオーバーフィッティングよりも\emph{underfitting}に向けられているという事実から明らかである。さらに,リプシッツを基盤とした設計空間の慎重な探索の欠如により,性能が向上する可能性が示唆された。本稿では,lipschitzベースの認証手法の可能性を明らかにするため,より包括的な評価を行う。新規な手法,設計最適化,先行作業の合成を組み合わせることで,様々なベンチマークデータセットに対する決定論的証明と,さまざまな摂動サイズに対して,最先端の<emph{verified robust accuracy} (VRA) を著しく向上させることができる。特に,既存技術であるリプシッツ制御ResNetアーキテクチャの終端に,Cholesky-orthogonalized residual dense" 層を追加することは,ネットワーク容量と性能の向上に特に有効であることがわかった。フィルタリング生成データ拡張と組み合わせて、最終結果は、最大8.5ポイントのアート決定性VRAの状態をさらに高めます。コードは \url{https://github.com/hukkai/liresnet} で入手できる。

関連論文リスト

Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness [47.9744734181236]
我々は、ディープニューラルネットワーク(DNN)の敵攻撃に対する堅牢性を証明するために、リプシッツ連続性の概念を探求する。本稿では,入力領域を制約範囲に再マップし,リプシッツ定数を低減し,ロバスト性を高める新しいアルゴリズムを提案する。本手法は,ロバストベンチリーダーボード上のCIFAR10,CIFAR100,ImageNetデータセットに対して,最も堅牢な精度を実現する。
論文参考訳（メタデータ） (2024-06-28T03:10:36Z)
On Robust Reinforcement Learning with Lipschitz-Bounded Policy Networks [1.1060425537315086]
より小さなリプシッツ境界を持つポリシネットワークは、乱れやランダムノイズ、ターゲットとなる敵攻撃に対してより堅牢であることを示す。スペクトル正規化の手法は保守的すぎるため,クリーンな性能に深刻な影響を及ぼすことがわかった。
論文参考訳（メタデータ） (2024-05-19T03:27:31Z)
Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
論文参考訳（メタデータ） (2023-05-25T15:32:21Z)
A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
論文参考訳（メタデータ） (2023-03-06T14:31:09Z)
Unlocking Deterministic Robustness Certification on ImageNet [39.439003787779434]
本稿では,より大規模でより深いモデルに頑健なトレーニングを拡大するための戦略について検討する。従来のResNetに対するリプシッツ定数のバウンディングの高速な方法が緩やかであることを示し、新しい残差ブロックを設計してこの問題に対処する方法を示す。私たちはImageNetに高速な決定論的堅牢性保証をスケールアップすることができ、この堅牢性学習へのアプローチが現実世界のアプリケーションに適用可能であることを実証しています。
論文参考訳（メタデータ） (2023-01-29T21:40:04Z)
Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
論文参考訳（メタデータ） (2022-10-04T17:55:27Z)
Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural Networks [77.82638674792292]
ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
論文参考訳（メタデータ） (2022-04-02T11:57:52Z)
Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
論文参考訳（メタデータ） (2021-11-02T06:44:10Z)
Coresets for Robust Training of Neural Networks against Noisy Labels [78.03027938765746]
本稿では,雑音ラベルで訓練したディープネットワークの堅牢なトレーニングのための理論的保証を強く備えた新しい手法を提案する。我々は、ほぼ低ランクのヤコビ行列を提供するクリーンなデータポイントの重み付き部分集合(コアセット)を選択する。我々の実験は、我々の理論を裏付け、我々のサブセットで訓練されたディープネットワークが、最先端技術よりもはるかに優れたパフォーマンスを達成することを示した。
論文参考訳（メタデータ） (2020-11-15T04:58:11Z)
Improve Adversarial Robustness via Weight Penalization on Classification Layer [20.84248493946059]
ディープニューラルネットワークは敵の攻撃に弱い。近年の研究では、よく設計された分類部品がより堅牢性をもたらすことが示されている。我々は,新しい軽量化防御法を開発した。
論文参考訳（メタデータ） (2020-10-08T08:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。