論文の概要: Robust Upper Bounds for Adversarial Training
- arxiv url: http://arxiv.org/abs/2112.09279v2
- Date: Thu, 6 Apr 2023 01:50:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-07 18:32:12.807603
- Title: Robust Upper Bounds for Adversarial Training
- Title(参考訳): 対向訓練におけるロバスト上界
- Authors: Dimitris Bertsimas, Xavier Boix, Kimberly Villalobos Carballo, Dick
den Hertog
- Abstract要約: 敵の損失の上限を最小化することで、敵の訓練に新たなアプローチを導入する。
このバウンダリは、各レイヤの別々のバウンダリではなく、ネットワークの全体的拡張に基づいている。
提案手法により2つの新しい手法を導出する。
- 参考スコア(独自算出の注目度): 4.971729553254843
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many state-of-the-art adversarial training methods for deep learning leverage
upper bounds of the adversarial loss to provide security guarantees against
adversarial attacks. Yet, these methods rely on convex relaxations to propagate
lower and upper bounds for intermediate layers, which affect the tightness of
the bound at the output layer. We introduce a new approach to adversarial
training by minimizing an upper bound of the adversarial loss that is based on
a holistic expansion of the network instead of separate bounds for each layer.
This bound is facilitated by state-of-the-art tools from Robust Optimization;
it has closed-form and can be effectively trained using backpropagation. We
derive two new methods with the proposed approach. The first method
(Approximated Robust Upper Bound or aRUB) uses the first order approximation of
the network as well as basic tools from Linear Robust Optimization to obtain an
empirical upper bound of the adversarial loss that can be easily implemented.
The second method (Robust Upper Bound or RUB), computes a provable upper bound
of the adversarial loss. Across a variety of tabular and vision data sets we
demonstrate the effectiveness of our approach -- RUB is substantially more
robust than state-of-the-art methods for larger perturbations, while aRUB
matches the performance of state-of-the-art methods for small perturbations.
- Abstract(参考訳): ディープラーニングのための最先端の敵訓練手法の多くは、敵の損失の上限を利用して、敵の攻撃に対するセキュリティ保証を提供する。
しかし、これらの方法は、中間層の下層および上層境界を伝播する凸緩和に依存しており、出力層における境界の密着性に影響を与える。
本稿では,各層に対する分離境界ではなく,ネットワークの全体的拡張に基づく対向損失の上限を最小化することにより,対向訓練に対する新たなアプローチを提案する。
このバウンダリはRobust Optimizationの最先端ツールによって実現されており、クローズドフォームを持ち、バックプロパゲーションを使って効果的にトレーニングすることができる。
提案手法により2つの新しい手法を導出する。
最初の手法 (Approximated Robust Upper Bound, aRUB) は、ネットワークの第一次近似と線形ロバスト最適化の基本的なツールを用いて、容易に実装可能な対向損失の実験的上界を得る。
第2の方法(Robust Upper Bound, RUB)は、対向損失の証明可能な上限を計算する。
rubはより大きな摂動に対して最先端のメソッドよりも大幅に堅牢であり、arubは小さな摂動に対して最先端のメソッドのパフォーマンスにマッチしています。
関連論文リスト
- Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳(メタデータ) (2023-12-25T18:51:23Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-08-01T06:16:18Z) - Adversarial Training Should Be Cast as a Non-Zero-Sum Game [125.91054859947693]
逆行訓練では、予測子は逆行するデータの摂動に対して訓練される。
対人訓練の2つのプレイヤーゼロサムパラダイムは、十分な強靭性を発揮できていない。
逆行訓練アルゴリズムでよく用いられる代理的緩和は、訓練された分類器の堅牢性に関するすべての保証を無効にすることを示す。
論文 参考訳(メタデータ) (2023-06-19T16:00:48Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳(メタデータ) (2021-10-29T13:30:42Z) - Defensive Tensorization [113.96183766922393]
本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。
我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。
我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
論文 参考訳(メタデータ) (2021-10-26T17:00:16Z) - Reliably fast adversarial training via latent adversarial perturbation [5.444459446244819]
上述のオーバーヘッドコストを軽減するため, 単段階潜時対向訓練法を提案する。
構造的な単純さにもかかわらず、提案手法は最先端の加速型敵対的トレーニング方法よりも優れている。
論文 参考訳(メタデータ) (2021-04-04T09:47:38Z) - Edge-Preserving Guided Semantic Segmentation for VIPriors Challenge [3.435043566706133]
現在の最先端およびディープラーニングに基づくセマンティックセマンティックセグメンテーション技術は、よく訓練することは難しい。
付加的な事前情報を得るためのエッジ保存ガイダンスを提案する。
実験により,提案手法は小型のトレーニングセットで優れた性能が得られることを示した。
論文 参考訳(メタデータ) (2020-07-17T11:49:10Z) - Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。
既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。
本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文 参考訳(メタデータ) (2020-02-14T12:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。