論文の概要: Fragility, Robustness and Antifragility in Deep Learning

• arxiv url: http://arxiv.org/abs/2312.09821v2
• Date: Sat, 23 Dec 2023 11:53:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 21:01:21.049723
• Title: Fragility, Robustness and Antifragility in Deep Learning
• Title（参考訳）: 深層学習における香り, 強靭性, 抗フラグ性
• Authors: Chandresh Pravin, Ivan Martino, Giuseppe Nicosia, Varun Ojha
• Abstract要約: 本稿では,ネットワークパラメータ除去のための信号処理技術に基づくディープニューラルネットワーク(DNN)の系統的解析を提案する。 提案手法は,DNNの性能がクリーンかつ逆向きに摂動したテストデータセットに負,不変,あるいは正の影響を及ぼすかどうかを解析する。 本手法は,ロバストパラメータとアンチフレジャルパラメータのみを選択的に再トレーニングした場合に,ResNetとShuffleNetモデルのテスト精度を向上させることを示す。
• 参考スコア（独自算出の注目度）: 1.53744306569115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a systematic analysis of deep neural networks (DNNs) based on a signal processing technique for network parameter removal, in the form of synaptic filters that identifies the fragility, robustness and antifragility characteristics of DNN parameters. Our proposed analysis investigates if the DNN performance is impacted negatively, invariantly, or positively on both clean and adversarially perturbed test datasets when the DNN undergoes synaptic filtering. We define three \textit{filtering scores} for quantifying the fragility, robustness and antifragility characteristics of DNN parameters based on the performances for (i) clean dataset, (ii) adversarial dataset, and (iii) the difference in performances of clean and adversarial datasets. We validate the proposed systematic analysis on ResNet-18, ResNet-50, SqueezeNet-v1.1 and ShuffleNet V2 x1.0 network architectures for MNIST, CIFAR10 and Tiny ImageNet datasets. The filtering scores, for a given network architecture, identify network parameters that are invariant in characteristics across different datasets over learning epochs. Vice-versa, for a given dataset, the filtering scores identify the parameters that are invariant in characteristics across different network architectures. We show that our synaptic filtering method improves the test accuracy of ResNet and ShuffleNet models on adversarial datasets when only the robust and antifragile parameters are selectively retrained at any given epoch, thus demonstrating applications of the proposed strategy in improving model robustness.
• Abstract（参考訳）: ネットワークパラメータ除去のための信号処理技術に基づくディープニューラルネットワーク(DNN)の系統的解析を,DNNパラメータの脆弱性,堅牢性,および反脆弱性特性を識別するシナプスフィルタの形で提案する。 提案分析は,DNNがシナプスフィルタリングを行う場合,DNNの性能が,クリーンかつ逆向きに摂動されたテストデータセットに負,不変,あるいは正の影響を及ぼすか否かを調べた。 DNNパラメータの脆弱性、堅牢性、および反脆弱性特性を定量化するための3つの「textit{filtering scores」を定義する。 (i)クリーンデータセット。 (二)敵対的データセット、及び (iii)クリーンデータセットと逆データセットのパフォーマンスの違い。 我々は、MNIST、CIFAR10、Tiny ImageNetデータセットのためのResNet-18、ResNet-50、SqueezeNet-v1.1およびShuffleNet V2 x1.0ネットワークアーキテクチャの体系的解析を検証した。 フィルタリングスコアは、所定のネットワークアーキテクチャにおいて、学習時代の異なるデータセットにまたがる特性に不変なネットワークパラメータを識別する。 逆に、あるデータセットに対して、フィルタリングスコアは、異なるネットワークアーキテクチャにまたがる特性に不変なパラメータを識別する。 提案手法は,任意のエポックでロバストパラメータと反フレジブルパラメータのみを選択的に再トレーニングした場合に,ResNetとShuffleNetモデルのテスト精度を向上させることを示し,モデルロバスト性向上のための提案手法の適用性を実証する。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Investigating Weight-Perturbed Deep Neural Networks With Application in Iris Presentation Attack Detection [11.209470024746683]
  重みとバイアスパラメータに対する摂動に対するディープニューラルネットワークの感度を評価する。 トレーニングを行なわずに、ネットワークのパラメータを摂動させることで、改良されたモデルを提案する。 パラメータレベルのアンサンブルは、LivDet-Iris-2017データセットで43.58%、LivDet-Iris-2020データセットで9.25%の平均的な改善を示している。
  論文  参考訳（メタデータ） (2023-11-21T18:18:50Z)
• Memory-efficient particle filter recurrent neural network for object localization [53.68402839500528]
  本研究では、オブジェクトの局所化問題を解決するために、新しいメモリ効率のリカレントニューラルネットワーク(RNN)アーキテクチャを提案する。 古典的粒子フィルタの概念をGRU RNNアーキテクチャと組み合わせる。 我々の実験では、mePFRNNモデルは、考慮された競合相手よりも正確なローカライゼーションを提供し、訓練されたパラメータを少なくする。
  論文  参考訳（メタデータ） (2023-10-02T19:41:19Z)
• Comprehensive Analysis of Network Robustness Evaluation Based on Convolutional Neural Networks with Spatial Pyramid Pooling [4.366824280429597]
  複雑なネットワークを理解し、最適化し、修復するための重要な側面である接続性の堅牢性は、伝統的にシミュレーションを通じて評価されてきた。 空間ピラミッドプールネットワーク(SPP-net)を用いた畳み込みニューラルネットワーク(CNN)モデルの設計により,これらの課題に対処する。 提案したCNNモデルは,全ての除去シナリオにおいて,攻撃曲線とロバストネスの両値の正確な評価を一貫して達成していることを示す。
  論文  参考訳（メタデータ） (2023-08-10T09:54:22Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Bayesian Hyperparameter Optimization for Deep Neural Network-Based Network Intrusion Detection [2.304713283039168]
  侵入検出問題に対してディープニューラルネットワーク(DNN)がうまく適用されている。 本稿では,ハイパーパラメータの自動最適化のための新しいベイズ最適化フレームワークを提案する。 提案手法は,ランダムな探索最適化手法よりも侵入検出性能が高いことを示す。
  論文  参考訳（メタデータ） (2022-07-07T20:08:38Z)
• From Environmental Sound Representation to Robustness of 2D CNN Models Against Adversarial Attacks [82.21746840893658]
  本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
  論文  参考訳（メタデータ） (2022-04-14T15:14:08Z)
• Feature Extraction for Machine Learning-based Intrusion Detection in IoT Networks [6.6147550436077776]
  本稿では, 特徴量削減 (FR) と機械学習 (ML) の手法が, 様々なデータセットにまたがって一般化できるかどうかを明らかにすることを目的とする。 主成分分析(PCA)、自動エンコーダ(AE)、線形識別分析(LDA)の3つの特徴抽出(FE)アルゴリズムの検出精度を評価する。
  論文  参考訳（メタデータ） (2021-08-28T23:52:18Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Ensembled sparse-input hierarchical networks for high-dimensional datasets [8.629912408966145]
  サンプルサイズが小さい環境では,高密度ニューラルネットワークが実用的なデータ解析ツールであることを示す。 提案手法は,L1-ペナルティパラメータを2つだけ調整することで,ネットワーク構造を適切に調整する。 EASIER-netは、異なるサイズの実世界のデータセットのコレクションにおいて、データ適応方式でネットワークアーキテクチャを選択し、平均的なオフザシェルフ手法よりも高い予測精度を達成した。
  論文  参考訳（メタデータ） (2020-05-11T02:08:53Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。