論文の概要: Cost-Effective Fault Tolerance for CNNs Using Parameter Vulnerability Based Hardening and Pruning
- arxiv url: http://arxiv.org/abs/2405.10658v1
- Date: Fri, 17 May 2024 09:42:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-20 16:22:57.724451
- Title: Cost-Effective Fault Tolerance for CNNs Using Parameter Vulnerability Based Hardening and Pruning
- Title（参考訳）: パラメータ脆弱性に基づくハードニング・プルーニングによるCNNのコスト効果フォールトトレランス
- Authors: Mohammad Hasan Ahmadilivani, Seyedhamidreza Mousavi, Jaan Raik, Masoud Daneshtalab, Maksim Jenihhin,
- Abstract要約: 本稿では,ニューラルネットワークに誤り訂正を直接組み込むことにより,CNNのモデルレベル硬化手法を提案する。
提案手法は,TMRに基づく補正とほぼ同等の耐故障性を示すが,オーバーヘッドは大幅に減少する。
注目すべきは、硬化したpruned CNNは、硬化したun-prunedよりも最大24%高速であることだ。
- 参考スコア（独自算出の注目度）: 0.4660328753262075
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Convolutional Neural Networks (CNNs) have become integral in safety-critical applications, thus raising concerns about their fault tolerance. Conventional hardware-dependent fault tolerance methods, such as Triple Modular Redundancy (TMR), are computationally expensive, imposing a remarkable overhead on CNNs. Whereas fault tolerance techniques can be applied either at the hardware level or at the model levels, the latter provides more flexibility without sacrificing generality. This paper introduces a model-level hardening approach for CNNs by integrating error correction directly into the neural networks. The approach is hardware-agnostic and does not require any changes to the underlying accelerator device. Analyzing the vulnerability of parameters enables the duplication of selective filters/neurons so that their output channels are effectively corrected with an efficient and robust correction layer. The proposed method demonstrates fault resilience nearly equivalent to TMR-based correction but with significantly reduced overhead. Nevertheless, there exists an inherent overhead to the baseline CNNs. To tackle this issue, a cost-effective parameter vulnerability based pruning technique is proposed that outperforms the conventional pruning method, yielding smaller networks with a negligible accuracy loss. Remarkably, the hardened pruned CNNs perform up to 24\% faster than the hardened un-pruned ones.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、安全クリティカルなアプリケーションに不可欠なものとなり、そのフォールトトレランスに対する懸念が高まっている。
Triple Modular Redundancy (TMR) のような従来のハードウェア依存のフォールトトレランス手法は計算コストが高く、CNNに顕著なオーバーヘッドをもたらす。
フォールトトレランス技術はハードウェアレベルでもモデルレベルでも適用可能であるが、後者は汎用性を犠牲にすることなく、より柔軟性を提供する。
本稿では,ニューラルネットワークに誤り訂正を直接組み込むことにより,CNNのモデルレベル硬化手法を提案する。
このアプローチはハードウェアに依存しないため、基盤となるアクセラレータデバイスを変更する必要はない。
パラメータの脆弱性を分析することで、選択フィルタ/ニューロンの複製を可能にし、その出力チャネルを効率的で堅牢な補正層で効果的に修正する。
提案手法は,TMRに基づく補正とほぼ同等の耐故障性を示すが,オーバーヘッドは大幅に減少する。
それでも、ベースラインのCNNには固有のオーバーヘッドがある。
この問題に対処するために、コスト効率のよいパラメータ脆弱性に基づくプルーニング手法が提案され、従来のプルーニング手法よりも優れており、より小さなネットワークで精度を損なうことができる。
注目すべきは、硬化した刈り取られたCNNは、硬化した未刈り取られたCNNよりも最大24倍高速である。
関連論文リスト
- Achieving Constraints in Neural Networks: A Stochastic Augmented
Lagrangian Approach [49.1574468325115]
DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。
制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。
我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
論文 参考訳（メタデータ） (2023-10-25T13:55:35Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Improving Reliability of Spiking Neural Networks through Fault Aware
Threshold Voltage Optimization [0.0]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックなハードウェアに自らを貸すことで、コンピュータビジョンを突破した。
Systolic-array SNNアクセラレータ(systolicSNN)が最近提案されているが、信頼性は依然として大きな懸念点である。
本稿では、リトレーニングにおける新しい故障軽減手法、すなわち、故障認識しきい値電圧の最適化について述べる(FalVolt)。
論文 参考訳（メタデータ） (2023-01-12T19:30:21Z) - CorrectNet: Robustness Enhancement of Analog In-Memory Computing for
Neural Networks by Error Suppression and Compensation [4.570841222958966]
本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。
ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
論文 参考訳（メタデータ） (2022-11-27T19:13:33Z) - Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。
最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。
我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
論文 参考訳（メタデータ） (2022-11-24T19:09:44Z) - Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。
線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
論文 参考訳（メタデータ） (2022-06-15T22:42:29Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - Manipulating Identical Filter Redundancy for Efficient Pruning on Deep
and Complicated CNN [126.88224745942456]
そこで我々は,Centripetal SGD (C-SGD) を提案する。
C-SGDは、既存のメソッドと比較して冗長性がより組織化されているため、パフォーマンスが向上する。
論文 参考訳（メタデータ） (2021-07-30T06:18:19Z) - MILR: Mathematically Induced Layer Recovery for Plaintext Space Error
Correction of CNNs [4.23546023847456]
本稿では,ソフトウェアによるCNN誤り検出と誤り訂正システムMILRを提案する。
自己修復能力は、レイヤーの入力、出力、パラメータ(重み)の間の数学的関係に基づいている。
論文 参考訳（メタデータ） (2020-10-28T00:47:15Z) - CNNPruner: Pruning Convolutional Neural Networks with Visual Analytics [13.38218193857018]
畳み込みニューラルネットワーク(CNN)は多くのコンピュータビジョンタスクにおいて極めて優れた性能を示している。
CNNPrunerは、モデルのサイズや精度に関する望ましい目標に応じて、対話的にプルーニングプランを作成することができる。
論文 参考訳（メタデータ） (2020-09-08T02:08:20Z) - FT-CNN: Algorithm-Based Fault Tolerance for Convolutional Neural
Networks [13.100954947774163]
畳み込みニューラルネットワーク(CNN)は、多くの分野において困難で重要な問題を解決するためにますます重要になっている。
CNN推論アプリケーションは、高エネルギー粒子や高温、異常電圧によるソフトエラーに悩まされる安全クリティカルなシステムにデプロイされている。
従来のフォールトトレランス法は、エラー訂正符号が計算コンポーネントを保護することができないため、CNNの推論には適さない。
論文 参考訳（メタデータ） (2020-03-27T02:01:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。