論文の概要: FitAct: Error Resilient Deep Neural Networks via Fine-Grained
Post-Trainable Activation Functions
- arxiv url: http://arxiv.org/abs/2112.13544v1
- Date: Mon, 27 Dec 2021 07:07:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-28 23:37:22.722424
- Title: FitAct: Error Resilient Deep Neural Networks via Fine-Grained
Post-Trainable Activation Functions
- Title（参考訳）: FitAct: 微粒化ポストトレインアクティベーション関数による誤差回復型ディープニューラルネットワーク
- Authors: Behnam Ghavami, Mani Sadati, Zhenman Fang, and Lesley Shannon
- Abstract要約: ディープニューラルネットワーク(DNN)は、パーソナルヘルスケアデバイスや自動運転車などの安全クリティカルなシステムにますます導入されている。
本稿では,DNNの微粒化後のアクティベーション機能を実装することで,DNNのエラーレジリエンスを高めるための低コストなアプローチであるFitActを提案する。
- 参考スコア（独自算出の注目度）: 0.05249805590164901
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks (DNNs) are increasingly being deployed in
safety-critical systems such as personal healthcare devices and self-driving
cars. In such DNN-based systems, error resilience is a top priority since
faults in DNN inference could lead to mispredictions and safety hazards. For
latency-critical DNN inference on resource-constrained edge devices, it is
nontrivial to apply conventional redundancy-based fault tolerance techniques.
In this paper, we propose FitAct, a low-cost approach to enhance the error
resilience of DNNs by deploying fine-grained post-trainable activation
functions. The main idea is to precisely bound the activation value of each
individual neuron via neuron-wise bounded activation functions so that it could
prevent fault propagation in the network. To avoid complex DNN model
re-training, we propose to decouple the accuracy training and resilience
training and develop a lightweight post-training phase to learn these
activation functions with precise bound values. Experimental results on widely
used DNN models such as AlexNet, VGG16, and ResNet50 demonstrate that FitAct
outperforms state-of-the-art studies such as Clip-Act and Ranger in enhancing
the DNN error resilience for a wide range of fault rates while adding
manageable runtime and memory space overheads.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、パーソナルヘルスケアデバイスや自動運転車などの安全クリティカルなシステムにますます導入されている。
このようなDNNベースのシステムでは、DNN推論の欠陥が誤予測や安全性の危険をもたらす可能性があるため、エラーレジリエンスが最優先事項である。
リソース制約のあるエッジデバイス上での遅延クリティカルなdnn推論では、従来の冗長性に基づくフォールトトレランス手法を適用することは非自明である。
本稿では,DNNの微粒化後のアクティベーション機能を実装することで,DNNのエラーレジリエンスを高めるための低コストなアプローチであるFitActを提案する。
主なアイデアは、個々のニューロンの活性化値をニューロン単位の活性化関数を介して正確に束縛し、ネットワーク内の障害伝播を防ぐことである。
複雑なDNNモデルの再訓練を避けるため、精度トレーニングとレジリエンストレーニングを分離し、これらのアクティベーション関数を正確なバウンド値で学習するための軽量な後学習フェーズを開発することを提案する。
alexnet、vgg16、resnet50といった広く使われているdnnモデルの実験結果によると、fitactはdnnエラーのレジリエンスを広範囲の障害率で向上させ、ランタイムとメモリ空間のオーバーヘッドを管理できるという。
関連論文リスト
- Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。
完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。
予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文 参考訳（メタデータ） (2024-01-19T23:48:04Z) - Special Session: Approximation and Fault Resiliency of DNN Accelerators [0.9126382223122612]
本稿では,Deep Neural Networkアクセラレータの近似とフォールトレジリエンスについて検討する。
本稿では,DNNに障害注入を行わずにハードウェアのエラーをエミュレートするために近似(AxC)演算回路を提案する。
また,ネットワーク上での断層伝播とマスキングによる耐故障性の微粒化解析も提案する。
論文 参考訳（メタデータ） (2023-05-31T19:27:45Z) - Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。
線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
論文 参考訳（メタデータ） (2022-06-15T22:42:29Z) - Fault-Aware Design and Training to Enhance DNNs Reliability with
Zero-Overhead [67.87678914831477]
ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。
最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。
本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
論文 参考訳（メタデータ） (2022-05-28T13:09:30Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Black-box Safety Analysis and Retraining of DNNs based on Feature
Extraction and Clustering [0.9590956574213348]
DNNエラーの根本原因を自動的に識別するブラックボックスアプローチであるSAFEを提案する。
これは、ImageNetで事前訓練された転送学習モデルを使用して、エラー誘発画像から特徴を抽出する。
次に、密度に基づくクラスタリングアルゴリズムを適用し、誤りのもっともらしい原因をモデル化した画像の任意の形状のクラスタを検出する。
論文 参考訳（メタデータ） (2022-01-13T17:02:57Z) - FAT: Training Neural Networks for Reliable Inference Under Hardware
Faults [3.191587417198382]
本稿では、ニューラルネットワーク(NN)トレーニング中のエラーモデリングを含む、フォールト・アウェア・トレーニング(FAT)と呼ばれる新しい手法を提案し、デバイス上の特定のフォールトモデルに耐性を持たせる。
FATはCIFAR10、GTSRB、SVHN、ImageNetなど多くの分類タスクに対して検証されている。
論文 参考訳（メタデータ） (2020-11-11T16:09:39Z) - An Integrated Approach to Produce Robust Models with High Efficiency [9.476463361600828]
量子化と構造単純化はモバイルデバイスにディープニューラルネットワーク(DNN)を適用するための有望な方法である。
本研究では, 収束緩和量子化アルゴリズムであるBinary-Relax (BR) を, 頑健な逆学習モデルResNets Ensembleに適用することにより, 両特徴の獲得を試みる。
我々は、DNNが自然の精度を維持し、チャネルの間隔を改善するのに役立つトレードオフ損失関数を設計する。
論文 参考訳（メタデータ） (2020-08-31T00:44:59Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。