論文の概要: Adversarial Robustness of Stabilized NeuralODEs Might be from Obfuscated Gradients

• arxiv url: http://arxiv.org/abs/2009.13145v2
• Date: Wed, 2 Jun 2021 04:14:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 21:07:06.633229
• Title: Adversarial Robustness of Stabilized NeuralODEs Might be from Obfuscated Gradients
• Title（参考訳）: 難読勾配による安定化ニューラルネットワークの逆ロバスト性
• Authors: Yifei Huang, Yaodong Yu, Hongyang Zhang, Yi Ma, Yuan Yao
• Abstract要約: 我々は、ホワイトボックス攻撃下での非自明な対角的ロバスト性を実現するニューラルネットワーク正規微分方程式(ODE)の実証可能な安定なアーキテクチャを提案する。 動的システム理論に触発されて, ODEブロックが歪対称であり, 入力出力安定であることが証明されたSONetというニューラルネットワークを設計した。 自然訓練により、SONetは、自然な精度を犠牲にすることなく、最先端の対人防御手法と同等の堅牢性を達成することができる。
• 参考スコア（独自算出の注目度）: 30.560531008995806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we introduce a provably stable architecture for Neural Ordinary Differential Equations (ODEs) which achieves non-trivial adversarial robustness under white-box adversarial attacks even when the network is trained naturally. For most existing defense methods withstanding strong white-box attacks, to improve robustness of neural networks, they need to be trained adversarially, hence have to strike a trade-off between natural accuracy and adversarial robustness. Inspired by dynamical system theory, we design a stabilized neural ODE network named SONet whose ODE blocks are skew-symmetric and proved to be input-output stable. With natural training, SONet can achieve comparable robustness with the state-of-the-art adversarial defense methods, without sacrificing natural accuracy. Even replacing only the first layer of a ResNet by such a ODE block can exhibit further improvement in robustness, e.g., under PGD-20 ($\ell_\infty=0.031$) attack on CIFAR-10 dataset, it achieves 91.57\% and natural accuracy and 62.35\% robust accuracy, while a counterpart architecture of ResNet trained with TRADES achieves natural and robust accuracy 76.29\% and 45.24\%, respectively. To understand possible reasons behind this surprisingly good result, we further explore the possible mechanism underlying such an adversarial robustness. We show that the adaptive stepsize numerical ODE solver, DOPRI5, has a gradient masking effect that fails the PGD attacks which are sensitive to gradient information of training loss; on the other hand, it cannot fool the CW attack of robust gradients and the SPSA attack that is gradient-free. This provides a new explanation that the adversarial robustness of ODE-based networks mainly comes from the obfuscated gradients in numerical ODE solvers.
• Abstract（参考訳）: 本稿では,ニューラルネットワークが自然に訓練された場合でも,ホワイトボックス攻撃による非自明な対角的ロバスト性を実現するニューラルネットワーク正規微分方程式(ODE)の確率的に安定なアーキテクチャを提案する。 強固なホワイトボックス攻撃に耐える既存の防衛手法の多くは、ニューラルネットワークの堅牢性を改善するために、敵意的に訓練する必要があるため、自然の正確性と敵意の強固さの間のトレードオフを犯さなければならない。 動的システム理論に着想を得て, ODEブロックがスキュー対称であり, 入力出力安定であることが証明されたSONetというニューラルネットワークを設計した。 自然訓練により、SONetは、自然な精度を犠牲にすることなく、最先端の対人防御手法と同等の堅牢性を達成することができる。 例えば pgd-20 (\ell_\infty=0.031$) による cifar-10 データセットへの攻撃では、91.57\% と自然精度 62.35\% が達成され、取引で訓練された resnet のアーキテクチャは、それぞれ自然で堅牢な 76.29\% と 45.24\% が達成される。 この驚くべき結果の裏にある可能性を理解するために、このような対角的堅牢性の基礎となるメカニズムをさらに探求する。 適応段差数値ODEソルバであるDOPRI5は、トレーニング損失の勾配情報に敏感なPGD攻撃に失敗する勾配マスキング効果を示し、一方、頑健な勾配のCW攻撃や、勾配のないSPSA攻撃を騙すことは不可能である。 このことは、ODEベースのネットワークの対角ロバスト性は、主に数値ODEソルバの難解勾配に由来するという新しい説明を与える。

関連論文リスト

• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness [47.9744734181236]
  我々は、ディープニューラルネットワーク(DNN)の敵攻撃に対する堅牢性を証明するために、リプシッツ連続性の概念を探求する。 本稿では,入力領域を制約範囲に再マップし,リプシッツ定数を低減し,ロバスト性を高める新しいアルゴリズムを提案する。 本手法は,ロバストベンチリーダーボード上のCIFAR10,CIFAR100,ImageNetデータセットに対して,最も堅牢な精度を実現する。
  論文  参考訳（メタデータ） (2024-06-28T03:10:36Z)
• How Robust Are Energy-Based Models Trained With Equilibrium Propagation? [4.374837991804085]
  敵の訓練は、敵の攻撃に対する現在の最先端の防御である。 クリーンな入力に対するモデルの精度を低くし、計算コストも高く、自然騒音に対する堅牢性も低い。 対照的に、エネルギーベースモデル(EBM)は各層から前の層へのフィードバック接続を組み込んでおり、繰り返し発生する深層構造をもたらす。
  論文  参考訳（メタデータ） (2024-01-21T16:55:40Z)
• Wasserstein distributional robustness of neural networks [9.79503506460041]
  ディープニューラルネットワークは敵攻撃(AA)に弱いことが知られている 画像認識タスクでは、元の小さな摂動によって画像が誤分類される可能性がある。 本稿では,Wassersteinの分散ロバスト最適化(DRO)技術を用いて問題を再検討し,新しいコントリビューションを得た。
  論文  参考訳（メタデータ） (2023-06-16T13:41:24Z)
• Stable Neural ODE with Lyapunov-Stable Equilibrium Points for Defending Against Adversarial Attacks [32.88499015927756]
  我々は,Lyapunov-stable平衡点を持つ安定なニューラル・オードを提案し,敵対的攻撃(SODEF)を防御する。 我々は、SODEFの安定性に関する洞察を与える理論的な結果と、その安定性を確保するための正則化器の選択を提供する。
  論文  参考訳（メタデータ） (2021-10-25T14:09:45Z)
• Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
  畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。 本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。 最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
  論文  参考訳（メタデータ） (2021-08-16T03:58:00Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Adversarial Robustness by Design through Analog Computing and Synthetic Gradients [80.60080084042666]
  光コプロセッサにインスパイアされた敵攻撃に対する新しい防御機構を提案する。 ホワイトボックス設定では、我々の防御はランダム投影のパラメータを難読化することで機能する。 光学系におけるランダムプロジェクションとバイナライゼーションの組み合わせにより、様々な種類のブラックボックス攻撃に対するロバスト性も向上する。
  論文  参考訳（メタデータ） (2021-01-06T16:15:29Z)
• Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
  我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。