論文の概要: On Using Certified Training towards Empirical Robustness

• arxiv url: http://arxiv.org/abs/2410.01617v1
• Date: Wed, 2 Oct 2024 14:56:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 16:34:50.686989
• Title: On Using Certified Training towards Empirical Robustness
• Title（参考訳）: 経験的ロバスト性への認定トレーニングの活用について
• Authors: Alessandro De Palma, Serge Durand, Zakaria Chihani, François Terrier, Caterina Urban,
• Abstract要約: 認定されたトレーニングアルゴリズムは、単一ステップ攻撃における壊滅的な過度なオーバーフィッティングを防ぐことができる。 また,ネットワークオーバー近似のための新たな正規化器を提案する。
• 参考スコア（独自算出の注目度）: 40.582830117229854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training is arguably the most popular way to provide empirical robustness against specific adversarial examples. While variants based on multi-step attacks incur significant computational overhead, single-step variants are vulnerable to a failure mode known as catastrophic overfitting, which hinders their practical utility for large perturbations. A parallel line of work, certified training, has focused on producing networks amenable to formal guarantees of robustness against any possible attack. However, the wide gap between the best-performing empirical and certified defenses has severely limited the applicability of the latter. Inspired by recent developments in certified training, which rely on a combination of adversarial attacks with network over-approximations, and by the connections between local linearity and catastrophic overfitting, we present experimental evidence on the practical utility and limitations of using certified training towards empirical robustness. We show that, when tuned for the purpose, a recent certified training algorithm can prevent catastrophic overfitting on single-step attacks, and that it can bridge the gap to multi-step baselines under appropriate experimental settings. Finally, we present a novel regularizer for network over-approximations that can achieve similar effects while markedly reducing runtime.
• Abstract（参考訳）: 敵の訓練は、特定の敵の例に対して経験的堅牢性を提供する最も一般的な方法である。 マルチステップ攻撃に基づく変種は計算オーバーヘッドがかなり大きいが、単一ステップの変種はカタストロフィックオーバーフィッティング(英語版)と呼ばれる障害モードに弱いため、大きな摂動に対する実用性を妨げている。 認定されたトレーニングである並行的な作業は、攻撃の可能性に対する堅牢性の正式な保証が可能なネットワークの作成に重点を置いている。 しかし、最も優れた経験的防御と認定された防御のギャップは、後者の適用性を著しく制限している。 ネットワークオーバー近似と敵対的攻撃を併用した認証トレーニングの最近の発展と,局所線形性と破滅的オーバーフィッティングの結びつきから着想を得て,実証的ロバスト性に対する認証トレーニングの実践的有用性と限界に関する実験的エビデンスを提示する。 この目的のために調整された場合、最近認定されたトレーニングアルゴリズムは、単一ステップ攻撃における破滅的な過度なオーバーフィッティングを防止し、適切な実験条件下では、ギャップをマルチステップベースラインにブリッジできることが示される。 最後に,ネットワークオーバー近似のための新しい正規化器を提案する。

関連論文リスト

• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
  インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。 敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。 実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
  論文  参考訳（メタデータ） (2021-05-18T17:48:15Z)
• LiBRe: A Practical Bayesian Approach to Adversarial Detection [36.541671795530625]
  LiBReは、様々な訓練済みのタスク依存DNNに、異種敵対攻撃を低コストで防御する能力を与えることができる。 我々は,多層深層アンサンブル変奏法を構築し,LiBReの有効性と効率を高めるために,事前学習と微調整のワークフローを採用する。
  論文  参考訳（メタデータ） (2021-03-27T07:48:58Z)
• Fast Training of Provably Robust Neural Networks by SingleProp [71.19423596238568]
  我々は、既存の認証された防御よりも効率的である新しい正規化器を開発した。 我々は、最先端の認証防御と比較して、訓練速度と同等の認証精度の向上を実証する。
  論文  参考訳（メタデータ） (2021-02-01T22:12:51Z)
• Improving the Certified Robustness of Neural Networks via Consistency Regularization [25.42238710803711]
  敵の例によるニューラルネットワークの堅牢性を改善するために,様々な防御手法が提案されている。 これらの証明可能な防御メソッドのほとんどは、トレーニングプロセス中にすべての例を平等に扱う。 本論文では, 誤分類例による不整合を探究し, 誤分類例をより有効活用するために, 新たな整合性正規化項を加える。
  論文  参考訳（メタデータ） (2020-12-24T05:00:50Z)
• About contrastive unsupervised representation learning for classification and its convergence [2.6782615615913343]
  我々は、その性能を保証するための対照的な学習に関する理論的枠組みを構築している。 複数の負のサンプルとマルチウェイ分類のためのトレーニングにこれらの結果の拡張を提供する。 また、過度にパラメータ化されたディープニューラルエンコーダの勾配降下によるコントラストトレーニング誤差の最小化のための収束保証も提供する。
  論文  参考訳（メタデータ） (2020-12-02T10:08:57Z)
• Regularized Training and Tight Certification for Randomized Smoothed Classifier with Provable Robustness [15.38718018477333]
  我々は新たな正規化リスクを導出し、正規化器はスムーズな手法の精度と堅牢性を適応的に促進することができる。 また、正規化効果を利用して、高い確率で保持されるより厳密なロバスト性の下限を提供する新しい認証アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-02-17T20:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。