Fugu-MT 論文翻訳(概要): Understanding the effect of sparsity on neural networks robustness

論文の概要: Understanding the effect of sparsity on neural networks robustness

arxiv url: http://arxiv.org/abs/2206.10915v1
Date: Wed, 22 Jun 2022 08:51:40 GMT
ステータス: 処理完了
システム内更新日: 2022-06-23 15:37:17.533798
Title: Understanding the effect of sparsity on neural networks robustness
Title（参考訳）: ニューラルネットワークの堅牢性に対する空間性の影響の理解
Authors: Lukas Timpl, Rahim Entezari, Hanie Sedghi, Behnam Neyshabur, Olga Saukh
Abstract要約: 本稿では,静的空間がトレーニングネットワークの強靭性に及ぼす影響について検討する。ネットワークの容量を一定に保ちながら、ネットワークの幅と深さを増大させ、ネットワークの幅を一定に保ち、初期の高密度バージョンよりも良くすることを示す。
参考スコア（独自算出の注目度）: 32.15505923976003
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: This paper examines the impact of static sparsity on the robustness of a trained network to weight perturbations, data corruption, and adversarial examples. We show that, up to a certain sparsity achieved by increasing network width and depth while keeping the network capacity fixed, sparsified networks consistently match and often outperform their initially dense versions. Robustness and accuracy decline simultaneously for very high sparsity due to loose connectivity between network layers. Our findings show that a rapid robustness drop caused by network compression observed in the literature is due to a reduced network capacity rather than sparsity.
Abstract（参考訳）: 本稿では,トレーニングされたネットワークの頑健性に対する静的スパース性の影響について検討する。ネットワークの容量を一定に保ちながら、ネットワークの幅と深さを増大させ、ネットワークの幅を一定に保ち、当初より密接なバージョンよりも良くすることを示す。ネットワーク層間のゆるい接続のため、ロバスト性と正確性が同時に低下する。文献で観察されたネットワーク圧縮による急激なロバスト性低下は,空隙性よりもネットワーク容量の減少によるものと考えられた。

関連論文リスト

Beyond Pruning Criteria: The Dominant Role of Fine-Tuning and Adaptive Ratios in Neural Network Robustness [7.742297876120561]
ディープニューラルネットワーク(DNN)は、画像認識や自然言語処理といったタスクに優れています。従来のプルーニング手法は、微妙な摂動に耐えるネットワークの能力を損なう。本稿では,プライドネットワークの性能決定要因として,従来の重み付け重み付けの重視に挑戦する。
論文参考訳（メタデータ） (2024-10-19T18:35:52Z)
Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of Conjugate Variables in System Attacks [54.565579874913816]
ニューラルネットワークは、敵の攻撃として現れる小さな非ランダムな摂動に固有の脆弱性を示す。この機構と量子物理学の不確実性原理の間に数学的に一致し、予想外の学際性に光を当てる。
論文参考訳（メタデータ） (2024-02-16T02:11:27Z)
Robustness to distribution shifts of compressed networks for edge devices [6.606005367624169]
領域シフトと対向摂動の2種類のデータ分散シフトにおいて,圧縮ネットワークの堅牢性を検討することが重要である。本研究では,圧縮モデルが元のネットワークよりも分散シフトに対して頑健でないことを明らかにする。知識蒸留によって得られるコンパクトネットワークは、刈り取られたネットワークよりも、分散シフトに対してより堅牢である。
論文参考訳（メタデータ） (2024-01-22T15:00:32Z)
Improving Corruption and Adversarial Robustness by Enhancing Weak Subnets [91.9346332103637]
本研究では,頑健性を向上させるために,トレーニング中の弱さを明確に識別し,強化する新しいロバストトレーニング手法を提案する。具体的には、特に弱いものを見つけるための探索アルゴリズムを開発し、全ネットワークからの知識蒸留を通じてそれらを明示的に強化することを提案する。 EWSは、破損した画像に対するロバスト性を大幅に改善し、クリーンなデータの正確性も向上することを示す。
論文参考訳（メタデータ） (2022-01-30T09:36:19Z)
Heavy Tails in SGD and Compressibility of Overparametrized Neural Networks [9.554646174100123]
本研究では, 勾配降下学習アルゴリズムの力学が圧縮性ネットワークの獲得に重要な役割を担っていることを示す。我々は,ネットワークが「$ell_p$-compressible」であることが保証され,ネットワークサイズが大きくなるにつれて,異なるプルーニング手法の圧縮誤差が任意に小さくなることを示す。
論文参考訳（メタデータ） (2021-06-07T17:02:59Z)
Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
論文参考訳（メタデータ） (2021-01-31T22:48:50Z)
Attribution Preservation in Network Compression for Reliable Network Interpretation [81.84564694303397]
安全に敏感なアプリケーションに埋め込まれたニューラルネットワークは、エッジ計算のサイズを減らすために、後向きの分析とネットワーク圧縮に入力属性に依存する。ネットワーク圧縮が生成した属性を変形させるため,これらの非関係な手法が相互に競合することを示す。この現象は、従来のネットワーク圧縮手法が、属性の品質を無視しながら、ネットワークの予測のみを保存するという事実から生じる。
論文参考訳（メタデータ） (2020-10-28T16:02:31Z)
Towards Accurate Quantization and Pruning via Data-free Knowledge Transfer [61.85316480370141]
我々は、訓練された大規模ネットワークからコンパクトネットワークへの知識の伝達により、データフリーな量子化とプルーニングを研究する。データフリーなコンパクトネットワークは、トレーニングデータで訓練され、微調整されたネットワークに対して、競争精度を達成する。
論文参考訳（メタデータ） (2020-10-14T18:02:55Z)
Achieving Adversarial Robustness via Sparsity [33.11581532788394]
ネットワーク重みの空間性はモデルロバスト性と密接に関連していることを示す。本稿では,逆重み継承という新たな逆トレーニング手法を提案する。
論文参考訳（メタデータ） (2020-09-11T13:15:43Z)
Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
論文参考訳（メタデータ） (2020-04-30T19:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。