論文の概要: Overcoming the Paradox of Certified Training with Gaussian Smoothing
- arxiv url: http://arxiv.org/abs/2403.07095v1
- Date: Mon, 11 Mar 2024 18:44:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 23:54:24.787898
- Title: Overcoming the Paradox of Certified Training with Gaussian Smoothing
- Title(参考訳): ガウス平滑化による認定教育のパラドックスの克服
- Authors: Stefan Balauca, Mark Niklas M\"uller, Yuhao Mao, Maximilian Baader,
Marc Fischer, Martin Vechev
- Abstract要約: 敵の例に対して高い精度でニューラルネットワークを訓練することは、未解決の問題である。
本研究では,滑らかな損失の勾配を計算するアルゴリズムPGPEと,凸緩和を併用した認定トレーニング手法を提案する。
このトレーニング手法を使用すると、より厳密な境界が、同じネットワーク上で最先端の手法を上回り得る、厳密なネットワークにつながることが分かる。
- 参考スコア(独自算出の注目度): 9.598335428072682
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training neural networks with high certified accuracy against adversarial
examples remains an open problem despite significant efforts. While
certification methods can effectively leverage tight convex relaxations for
bound computation, in training, these methods perform worse than looser
relaxations. Prior work hypothesized that this is caused by the discontinuity
and perturbation sensitivity of the loss surface induced by these tighter
relaxations. In this work, we show theoretically that Gaussian Loss Smoothing
can alleviate both of these issues. We confirm this empirically by proposing a
certified training method combining PGPE, an algorithm computing gradients of a
smoothed loss, with different convex relaxations. When using this training
method, we observe that tighter bounds indeed lead to strictly better networks
that can outperform state-of-the-art methods on the same network. While scaling
PGPE-based training remains challenging due to high computational cost, our
results clearly demonstrate the promise of Gaussian Loss Smoothing for training
certifiably robust neural networks.
- Abstract(参考訳): 敵の例に対して高い精度でニューラルネットワークを訓練することは、大きな努力にもかかわらず未解決の問題である。
証明手法は境界計算に密接な凸緩和を効果的に活用することができるが、訓練においてはより緩やかな緩和よりも悪い結果が得られる。
先行研究は、これらより密着な緩和によって引き起こされる損失面の不連続性と摂動感度によって引き起こされると仮定した。
本研究では,ガウスロス平滑化がこれらの問題を緩和できることを示す。
我々は,滑らかな損失の勾配を計算し,凸緩和の異なるアルゴリズムであるpgpeを組み合わせることで,経験的検証を行う。
このトレーニング手法を使用すると、より厳密な境界が、同じネットワーク上で最先端の手法よりはるかに優れたネットワークをもたらすことが分かる。
計算コストが高いため,pgpeベースのトレーニングのスケールアップは依然として困難であるが,本研究の結果から,頑健なニューラルネットワークをトレーニングするためのガウス損失平滑化が期待できることが明らかである。
関連論文リスト
- Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳(メタデータ) (2023-12-25T18:51:23Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳(メタデータ) (2021-10-29T13:30:42Z) - DeepSplit: Scalable Verification of Deep Neural Networks via Operator
Splitting [70.62923754433461]
入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。
解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
論文 参考訳(メタデータ) (2021-06-16T20:43:49Z) - Gradient-trained Weights in Wide Neural Networks Align Layerwise to
Error-scaled Input Correlations [11.176824373696324]
我々は、勾配降下によって訓練された非線形活性化を伴う無限幅ニューラルネットワークの層方向の重みダイナミクスを導出する。
我々は、バックプロパゲーションと同じアライメントを理論的に達成するバックプロパゲーションフリー学習ルール、Align-zeroとAlign-adaを定式化した。
論文 参考訳(メタデータ) (2021-06-15T21:56:38Z) - Practical Convex Formulation of Robust One-hidden-layer Neural Network
Training [12.71266194474117]
本研究では,一層型スカラーアウトプット完全接続型ReLULUニューラルネットワークのトレーニングを,有限次元凸プログラムとして再構成可能であることを示す。
我々は「敵の訓練」問題を効率的に解くために凸最適化手法を導出する。
本手法は二項分類と回帰に応用でき、現在の対角訓練法に代わる手段を提供する。
論文 参考訳(メタデータ) (2021-05-25T22:06:27Z) - Step-Ahead Error Feedback for Distributed Training with Compressed
Gradient [99.42912552638168]
集中型分散トレーニングにおける局所的エラーフィードバックによって,新たな"段階的ミスマッチ"問題が発生することを示す。
本稿では, 厳密な理論的解析を施した2つの新しい手法, 1) 一歩前進, 2) 誤差平均化を提案する。
論文 参考訳(メタデータ) (2020-08-13T11:21:07Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳(メタデータ) (2020-05-20T16:56:08Z) - Tightened Convex Relaxations for Neural Network Robustness Certification [10.68833097448566]
我々は、ReLUネットワークの構造を利用して、新しいパーティションベースの認証手順により緩和誤差を改善する。
提案手法は, 既存の線形プログラミング緩和を厳格化することが証明され, 結果がより微細になるにつれて, 緩和誤差がゼロとなる。
論文 参考訳(メタデータ) (2020-04-01T16:59:21Z) - Improving the Tightness of Convex Relaxation Bounds for Training
Certifiably Robust Classifiers [72.56180590447835]
凸緩和は、ノルムバウンドの敵攻撃に対するトレーニングとニューラルネットワークの認証に有効であるが、認証と経験的堅牢性の間に大きなギャップを残している。
非正規化ベースラインよりも高い精度でトレーニング可能なニューラルネットワークのトレーニングに使用できる2つの実験を提案する。
論文 参考訳(メタデータ) (2020-02-22T20:19:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。