Fugu-MT 論文翻訳(概要): Improving the Robustness of Deep Convolutional Neural Networks Through Feature Learning

論文の概要: Improving the Robustness of Deep Convolutional Neural Networks Through Feature Learning

arxiv url: http://arxiv.org/abs/2303.06425v1
Date: Sat, 11 Mar 2023 15:22:29 GMT
ステータス: 処理完了
システム内更新日: 2023-03-14 19:00:17.614557
Title: Improving the Robustness of Deep Convolutional Neural Networks Through Feature Learning
Title（参考訳）: 特徴学習による深部畳み込みニューラルネットワークのロバスト性向上
Authors: Jin Ding, Jie-Chao Zhao, Yong-Zhi Sun, Ping Tan, Ji-En Ma, You-Tong Fang
Abstract要約: 深層畳み込みニューラルネットワーク(DCNN: Deep Convolutional Neural Network)モデルは、小さな摂動のある例に対して脆弱である。逆トレーニング(略してAT)は、データ拡張によるDCNNモデルの堅牢性を高めるために広く用いられている手法である。本稿では,どのバックボーンにも組み込むことのできる浅いバイナリ機能モジュール(略してSBFM)を提案する。
参考スコア（独自算出の注目度）: 23.5067878531607
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Deep convolutional neural network (DCNN for short) models are vulnerable to examples with small perturbations. Adversarial training (AT for short) is a widely used approach to enhance the robustness of DCNN models by data augmentation. In AT, the DCNN models are trained with clean examples and adversarial examples (AE for short) which are generated using a specific attack method, aiming to gain ability to defend themselves when facing the unseen AEs. However, in practice, the trained DCNN models are often fooled by the AEs generated by the novel attack methods. This naturally raises a question: can a DCNN model learn certain features which are insensitive to small perturbations, and further defend itself no matter what attack methods are presented. To answer this question, this paper makes a beginning effort by proposing a shallow binary feature module (SBFM for short), which can be integrated into any popular backbone. The SBFM includes two types of layers, i.e., Sobel layer and threshold layer. In Sobel layer, there are four parallel feature maps which represent horizontal, vertical, and diagonal edge features, respectively. And in threshold layer, it turns the edge features learnt by Sobel layer to the binary features, which then are feeded into the fully connected layers for classification with the features learnt by the backbone. We integrate SBFM into VGG16 and ResNet34, respectively, and conduct experiments on multiple datasets. Experimental results demonstrate, under FGSM attack with $\epsilon=8/255$, the SBFM integrated models can achieve averagely 35\% higher accuracy than the original ones, and in CIFAR-10 and TinyImageNet datasets, the SBFM integrated models can achieve averagely 75\% classification accuracy. The work in this paper shows it is promising to enhance the robustness of DCNN models through feature learning.
Abstract（参考訳）: 深層畳み込みニューラルネットワーク(DCNN: Deep Convolutional Neural Network)モデルは、小さな摂動の例に弱い。逆トレーニング(略してAT)は、データ拡張によるDCNNモデルの堅牢性を高めるために広く用いられている手法である。 ATでは、DCNNモデルは、特定の攻撃方法を用いて生成されたクリーンな例と敵の例(略してAE)で訓練され、目に見えないAEに直面する際に自身を守る能力を得ることを目的としている。しかし実際には、訓練されたdcnnモデルは、しばしば新しい攻撃法によって生成されたaesによって騙される。 DCNNモデルは、小さな摂動に敏感な特定の機能を学び、どんな攻撃方法が提示されたとしても、さらに自身を守ることができる。この問題に対処するため,本稿では,一般的なバックボーンに組み込むことのできる浅いバイナリ機能モジュール(略してSBFM)を提案する。 sbfmはソベル層としきい値層という2種類の層を含む。 sobel層では、水平、垂直、対角エッジの特徴を表す4つの平行な特徴マップが存在する。そしてしきい値層では、sobel layerが学習するエッジ機能をバイナリ機能に変換し、バックボーンが学習した機能で分類するために、完全に接続されたレイヤにフィードする。 SBFMをVGG16とResNet34に統合し、複数のデータセットで実験を行う。実験の結果,$\epsilon=8/255$のfgsm攻撃では,sbfm統合モデルの方が平均して35\%高い精度を達成でき,cifar-10およびtinyimagenetデータセットでは,sbfm統合モデルが平均75\%の分類精度を達成できることがわかった。本稿では,特徴学習を通じてDCNNモデルの堅牢性を高めることを約束する。

関連論文リスト

MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文参考訳（メタデータ） (2024-10-02T16:05:03Z)
Edge Detectors Can Make Deep Convolutional Neural Networks More Robust [25.871767605100636]
本稿では、まずエッジ検出器をレイヤカーネルとして使用し、バイナリエッジ特徴分枝(BEFB)を設計し、バイナリエッジ特徴を学習する。 BEFB統合モデルの精度は、FGSM、PGD、C&W攻撃に直面する場合、すべてのデータセットのオリジナルのモデルよりも優れている。本研究は,DCNNの形状的特徴とテクスチャ的特徴を組み合わせることで,DCNNの堅牢性を高めることができることを示す。
論文参考訳（メタデータ） (2024-02-26T10:54:26Z)
A model for multi-attack classification to improve intrusion detection performance using deep learning approaches [0.0]
ここでの目的は、悪意のある攻撃を識別するための信頼性の高い侵入検知メカニズムを作ることである。ディープラーニングベースのソリューションフレームワークは、3つのアプローチから成り立っている。最初のアプローチは、adamax、SGD、adagrad、adam、RMSprop、nadam、adadeltaといった7つの機能を持つLong-Short Term Memory Recurrent Neural Network (LSTM-RNN)である。モデルは特徴を自己学習し、攻撃クラスをマルチアタック分類として分類する。
論文参考訳（メタデータ） (2023-10-25T05:38:44Z)
Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。フェデレートラーニングにおいて最も顕著に用いられている。私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文参考訳（メタデータ） (2023-07-13T09:39:10Z)
A Gradient Boosting Approach for Training Convolutional and Deep Neural Networks [0.0]
グラディエントブースティング(GB)に基づく畳み込みニューラルネットワーク(CNN)とディープニューラルネットワークの訓練方法を紹介する。提案モデルでは,同一アーキテクチャの標準CNNとDeep-NNに対して,分類精度の点で優れた性能を示す。
論文参考訳（メタデータ） (2023-02-22T12:17:32Z)
Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文参考訳（メタデータ） (2022-10-14T18:00:07Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文参考訳（メタデータ） (2022-04-10T11:38:33Z)
Eigen-CAM: Class Activation Map using Principal Components [1.2691047660244335]
この論文は、解釈可能で堅牢で透明なモデルに対する需要の増加に対応するために、従来の考え方に基づいている。提案したEigen-CAMは、畳み込み層から学習した特徴/表現の基本的なコンポーネントを計算し、視覚化する。
論文参考訳（メタデータ） (2020-08-01T17:14:13Z)
When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文参考訳（メタデータ） (2020-04-19T08:34:52Z)
Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できるこのモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。