論文の概要: First line of defense: A robust first layer mitigates adversarial attacks
- arxiv url: http://arxiv.org/abs/2408.11680v1
- Date: Wed, 21 Aug 2024 15:00:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-22 16:37:45.648165
- Title: First line of defense: A robust first layer mitigates adversarial attacks
- Title（参考訳）: 防衛の第一線:強固な第一層は敵の攻撃を緩和する
- Authors: Janani Suresh, Nancy Nayak, Sheetal Kalyani,
- Abstract要約: ニューラルネットワークの第1層が暗黙の対向ノイズフィルタ(ANF)として機能することを示す。
このフィルタは、カーネルサイズが大きくなり、畳み込みフィルタが増加し、最大値演算が可能である。
本稿では,ResNet,VGG,EfficientNetなどのアーキテクチャにおいて,このフィルタを第1層として統合することにより,対向的に堅牢なネットワークが得られることを示す。
- 参考スコア（独自算出の注目度）: 9.416382037694424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training (AT) incurs significant computational overhead, leading to growing interest in designing inherently robust architectures. We demonstrate that a carefully designed first layer of the neural network can serve as an implicit adversarial noise filter (ANF). This filter is created using a combination of large kernel size, increased convolution filters, and a maxpool operation. We show that integrating this filter as the first layer in architectures such as ResNet, VGG, and EfficientNet results in adversarially robust networks. Our approach achieves higher adversarial accuracies than existing natively robust architectures without AT and is competitive with adversarial-trained architectures across a wide range of datasets. Supporting our findings, we show that (a) the decision regions for our method have better margins, (b) the visualized loss surfaces are smoother, (c) the modified peak signal-to-noise ratio (mPSNR) values at the output of the ANF are higher, (d) high-frequency components are more attenuated, and (e) architectures incorporating ANF exhibit better denoising in Gaussian noise compared to baseline architectures. Code for all our experiments are available at \url{https://github.com/janani-suresh-97/first-line-defence.git}.
- Abstract（参考訳）: 敵対的トレーニング(AT)は計算オーバーヘッドを著しく増加させ、本質的に堅牢なアーキテクチャの設計への関心が高まっている。
ニューラルネットワークの第1層が暗黙の対向ノイズフィルタ(ANF)として機能することを示す。
このフィルタは、カーネルサイズが大きくなり、畳み込みフィルタが増加し、最大値演算が可能である。
本稿では,ResNet,VGG,EfficientNetなどのアーキテクチャにおいて,このフィルタを第1層として統合することにより,対向的に堅牢なネットワークが得られることを示す。
提案手法は,ATを使わずに既存の頑健なアーキテクチャよりも高い精度を達成し,幅広いデータセットにまたがる敵対的学習アーキテクチャと競合する。
我々の発見を裏付けて、我々はそれを証明した。
a)我々の方法の判定領域はより良いマージンを持つ。
b) 可視化された損失面はより滑らかである。
c) ANFの出力における変化ピーク信号対雑音比(mPSNR)が高い。
(d)高周波成分はより減衰し、
(e)ANFを組み込んだアーキテクチャは、ベースラインアーキテクチャよりもガウスノイズのデノナイジングが優れている。
すべての実験のコードは \url{https://github.com/janani-suresh-97/first-line-defence.git} で公開されている。
関連論文リスト
- Revisiting Residual Networks for Adversarial Robustness: An
Architectural Perspective [22.59262601575886]
残余ネットワークに着目し、トポロジ、カーネルサイズ、アクティベーション、正規化といったアーキテクチャ設計をブロックレベルで検討する。
我々は、モデル容量の幅広い範囲にまたがる、対向的に頑健な残留ネットワークRobostResNetsのポートフォリオを提示する。
論文 参考訳（メタデータ） (2022-12-21T13:19:25Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-23T18:37:22Z) - SmoothNets: Optimizing CNN architecture design for differentially
private deep learning [69.10072367807095]
DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。
これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。
SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
論文 参考訳（メタデータ） (2022-05-09T07:51:54Z) - From Environmental Sound Representation to Robustness of 2D CNN Models
Against Adversarial Attacks [82.21746840893658]
本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。
DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
論文 参考訳（メタデータ） (2022-04-14T15:14:08Z) - Defensive Tensorization [113.96183766922393]
本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。
我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。
我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
論文 参考訳（メタデータ） (2021-10-26T17:00:16Z) - Improving Neural Network Robustness through Neighborhood Preserving
Layers [0.751016548830037]
このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを実証する。
我々は、設計したネットワークアーキテクチャが、最先端の勾配に基づく攻撃に対してより堅牢であることを実証的に示す。
論文 参考訳（メタデータ） (2021-01-28T01:26:35Z) - DSRNA: Differentiable Search of Robust Neural Architectures [11.232234265070753]
ディープラーニングアプリケーションでは、ディープニューラルネットワークのアーキテクチャは高い精度を達成するために不可欠である。
堅牢なニューラルアーキテクチャの微分可能な探索方法を提案する。
我々の手法は、複数のNASベースラインよりも、様々なノルムバウンド攻撃に対して堅牢である。
論文 参考訳（メタデータ） (2020-12-11T04:52:54Z) - Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。
我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。
KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
論文 参考訳（メタデータ） (2020-10-26T11:57:37Z) - Self-grouping Convolutional Neural Networks [30.732298624941738]
本稿では,SG-CNNと呼ばれる自己グループ型畳み込みニューラルネットワークの設計手法を提案する。
各フィルタについて、まず入力チャネルの重要度を評価し、重要度ベクトルを同定する。
得られたデータに依存したセントロイドを用いて、重要でない接続を創り出し、プルーニングの精度損失を暗黙的に最小化する。
論文 参考訳（メタデータ） (2020-09-29T06:24:32Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳（メタデータ） (2020-05-06T07:41:22Z) - Cluster Pruning: An Efficient Filter Pruning Method for Edge AI Vision
Applications [13.197955183748796]
CNNでフィルタを除去する構造的方法を提供するクラスタプルーニングと呼ばれる新しいグリーディ手法が提案されている。
提案手法を用いてエッジAIアプリケーションをデプロイするために,Intel Movidius-NCSからなる低コストIoTハードウェアセットアップを提案する。
論文 参考訳（メタデータ） (2020-03-05T06:20:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。