論文の概要: Rethinking Feature Uncertainty in Stochastic Neural Networks for Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2201.00148v1
• Date: Sat, 1 Jan 2022 08:46:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-04 13:53:35.602769
• Title: Rethinking Feature Uncertainty in Stochastic Neural Networks for Adversarial Robustness
• Title（参考訳）: 確率的ニューラルネットワークにおける不確かさの再考
• Authors: Hao Yang, Min Wang, Zhengfei Yu, Yun Zhou
• Abstract要約: ニューラルネットワーク(SNN)というランダム性手法が最近提案されている。 MFDV-SNNは既存の手法よりも大幅に改善され、モデルロバスト性を改善するための単純だが効果的な手法であることが示されている。
• 参考スコア（独自算出の注目度）: 12.330036598899218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well-known that deep neural networks (DNNs) have shown remarkable success in many fields. However, when adding an imperceptible magnitude perturbation on the model input, the model performance might get rapid decrease. To address this issue, a randomness technique has been proposed recently, named Stochastic Neural Networks (SNNs). Specifically, SNNs inject randomness into the model to defend against unseen attacks and improve the adversarial robustness. However, existed studies on SNNs mainly focus on injecting fixed or learnable noises to model weights/activations. In this paper, we find that the existed SNNs performances are largely bottlenecked by the feature representation ability. Surprisingly, simply maximizing the variance per dimension of the feature distribution leads to a considerable boost beyond all previous methods, which we named maximize feature distribution variance stochastic neural network (MFDV-SNN). Extensive experiments on well-known white- and black-box attacks show that MFDV-SNN achieves a significant improvement over existing methods, which indicates that it is a simple but effective method to improve model robustness.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)が多くの分野で顕著に成功したことはよく知られている。 しかし、モデル入力に不可避な大きさの摂動を加えると、モデルの性能は急速に低下する可能性がある。 この問題に対処するため,SNN(Stochastic Neural Networks)というランダム性手法が最近提案されている。 特に、snsは無作為性をモデルに注入し、目に見えない攻撃から防御し、敵の堅牢性を改善する。 しかし、snsの研究は、主にモデル重み/アクティベーションに固定または学習可能なノイズを注入することに焦点を当てている。 本稿では,既存のSNNの性能が特徴表現能力のボトルネックとなっていることを明らかにする。 驚くべきことに、特徴分布の次元当たりの分散を最大化することは、これまでのすべての方法を大きく上回らせ、特徴分布分散確率ニューラルネットワーク(mfdv-snn)を最大化する。 ホワイトボックス攻撃やブラックボックス攻撃に対する大規模な実験により、MFDV-SNNは既存の手法よりも大幅に改善され、モデルロバスト性を改善するための単純で効果的な方法であることが示されている。

関連論文リスト

• RSC-SNN: Exploring the Trade-off Between Adversarial Robustness and Accuracy in Spiking Neural Networks via Randomized Smoothing Coding [17.342181435229573]
  スパイキングニューラルネットワーク(SNN)は、そのユニークな神経力学と低出力の性質により、広く注目を集めている。 以前の研究では、Poissonコーディングを持つSNNは、小規模データセット上のArtificial Neural Networks(ANN)よりも堅牢であることが実証されている。 この研究は理論上、SNNの固有の対向ロバスト性はポアソン符号に由来することを証明している。
  論文  参考訳（メタデータ） (2024-07-29T15:26:15Z)
• Enhancing Adversarial Robustness in SNNs with Sparse Gradients [46.15229142258264]
  スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率の高い操作と生物学的にインスパイアされた構造に対して大きな注目を集めている。 既存の技術は、ANNから適応したものであれ、SNNのために特別に設計されたものであれ、SNNの訓練や強力な攻撃に対する防御に制限がある。 本稿では,SNNの頑健性を高めるための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T05:39:27Z)
• Fully Spiking Denoising Diffusion Implicit Models [61.32076130121347]
  スパイキングニューラルネットワーク(SNN)は、超高速のニューロモルフィックデバイス上で走る能力のため、かなりの注目を集めている。 本研究では,SNN内で拡散モデルを構築するために,拡散暗黙モデル (FSDDIM) を完全にスパイクする新しい手法を提案する。 提案手法は,最先端の完全スパイク生成モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-04T09:07:09Z)
• Inherent Redundancy in Spiking Neural Networks [24.114844269113746]
  スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。 本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。 本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-16T08:58:25Z)
• OccRob: Efficient SMT-Based Occlusion Robustness Verification of Deep Neural Networks [7.797299214812479]
  Occlusionは、ディープニューラルネットワーク(DNN)に対する一般的かつ容易に実現可能なセマンティック摂動である DNNを騙していくつかのセグメントを隠蔽することで入力画像を誤分類し、おそらく深刻なエラーを引き起こす可能性がある。 DNNの既存のロバスト性検証アプローチは、非意味的な摂動に重点を置いている。
  論文  参考訳（メタデータ） (2023-01-27T18:54:00Z)
• Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean [1.0923877073891446]
  ディープニューラルネットワーク(DNN)は、様々なタスクで非常に効果的であることが証明されている。 この成功にもかかわらず、DNNの内部構造はしばしば透明ではない。 この解釈可能性の欠如は、本質的に解釈可能なニューラルネットワークの研究の増加につながった。
  論文  参考訳（メタデータ） (2023-01-27T17:06:13Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Weight-Covariance Alignment for Adversarially Robust Neural Networks [15.11530043291188]
  本稿では,対人訓練に頼らずに最先端のパフォーマンスを実現する新しいSNNを提案する。 既存のSNNは学習あるいは手動等方性雑音を注入するが、SNNは異方性雑音分布を学習し、対向的ロバスト性に対する学習理論境界を最適化する。
  論文  参考訳（メタデータ） (2020-10-17T19:28:35Z)
• Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective [91.5105021619887]
  バッチ正規化(BN)は、現代のディープニューラルネットワーク(DNN)で広く使われている。 BNは、対向ロバスト性を犠牲にしてモデル精度を高めることが観察された。 BNが主にロバスト特徴(RF)と非ロバスト特徴(NRF)の学習を好んでいるかどうかは不明である。
  論文  参考訳（メタデータ） (2020-10-07T10:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。