論文の概要: FT-CNN: Algorithm-Based Fault Tolerance for Convolutional Neural
Networks
- arxiv url: http://arxiv.org/abs/2003.12203v4
- Date: Mon, 7 Sep 2020 20:34:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 05:28:52.427818
- Title: FT-CNN: Algorithm-Based Fault Tolerance for Convolutional Neural
Networks
- Title（参考訳）: FT-CNN:畳み込みニューラルネットワークのアルゴリズムによるフォールトトレランス
- Authors: Kai Zhao, Sheng Di, Sihuan Li, Xin Liang, Yujia Zhai, Jieyang Chen,
Kaiming Ouyang, Franck Cappello, Zizhong Chen
- Abstract要約: 畳み込みニューラルネットワーク(CNN)は、多くの分野において困難で重要な問題を解決するためにますます重要になっている。
CNN推論アプリケーションは、高エネルギー粒子や高温、異常電圧によるソフトエラーに悩まされる安全クリティカルなシステムにデプロイされている。
従来のフォールトトレランス法は、エラー訂正符号が計算コンポーネントを保護することができないため、CNNの推論には適さない。
- 参考スコア（独自算出の注目度）: 13.100954947774163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional neural networks (CNNs) are becoming more and more important for
solving challenging and critical problems in many fields. CNN inference
applications have been deployed in safety-critical systems, which may suffer
from soft errors caused by high-energy particles, high temperature, or abnormal
voltage. Of critical importance is ensuring the stability of the CNN inference
process against soft errors. Traditional fault tolerance methods are not
suitable for CNN inference because error-correcting code is unable to protect
computational components, instruction duplication techniques incur high
overhead, and existing algorithm-based fault tolerance (ABFT) techniques cannot
protect all convolution implementations. In this paper, we focus on how to
protect the CNN inference process against soft errors as efficiently as
possible, with the following three contributions. (1) We propose several
systematic ABFT schemes based on checksum techniques and analyze their fault
protection ability and runtime thoroughly.Unlike traditional ABFT based on
matrix-matrix multiplication, our schemes support any convolution
implementations. (2) We design a novel workflow integrating all the proposed
schemes to obtain a high detection/correction ability with limited total
runtime overhead. (3) We perform our evaluation using ImageNet with well-known
CNN models including AlexNet, VGG-19, ResNet-18, and YOLOv2. Experimental
results demonstrate that our implementation can handle soft errors with very
limited runtime overhead (4%~8% in both error-free and error-injected
situations).
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、多くの分野において困難で重要な問題を解決するためにますます重要になっている。
cnn推論アプリケーションは、高エネルギー粒子、高温、異常電圧によって生じるソフトエラーに苦しむ安全クリティカルシステムにデプロイされている。
重要なことは、ソフトエラーに対するCNN推論プロセスの安定性を保証することである。
従来のフォールトトレランス法はCNNの推論には適さないが、エラー訂正コードは計算コンポーネントを保護できないため、命令重複技術はオーバーヘッドが高く、既存のアルゴリズムベースのフォールトトレランス(ABFT)技術はすべての畳み込み実装を保護できない。
本稿では,CNN推論プロセスのソフトエラーを可能な限り効果的に防止する方法に着目し,以下の3つのコントリビューションについて述べる。
1)チェックサム手法に基づく複数の体系的ABFTスキームを提案し,そのフォールトプロテクション能力とランタイムを徹底的に解析する。
2)提案手法を全て統合した新しいワークフローを設計し,全ランタイムオーバーヘッドに制限のある高い検出・補正能力を実現する。
3) alexnet, vgg-19, resnet-18, yolov2などの有名なcnnモデルのimagenetを用いて評価を行った。
実験の結果,実行時のオーバーヘッドが非常に少ないソフトエラー(エラーのない状況とエラー注入状況の両方で4%～8%)で処理できることが確認された。
関連論文リスト
- Cost-Effective Fault Tolerance for CNNs Using Parameter Vulnerability Based Hardening and Pruning [0.4660328753262075]
本稿では,ニューラルネットワークに誤り訂正を直接組み込むことにより,CNNのモデルレベル硬化手法を提案する。
提案手法は,TMRに基づく補正とほぼ同等の耐故障性を示すが,オーバーヘッドは大幅に減少する。
注目すべきは、硬化したpruned CNNは、硬化したun-prunedよりも最大24%高速であることだ。
論文 参考訳（メタデータ） (2024-05-17T09:42:44Z) - Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。
これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。
提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
論文 参考訳（メタデータ） (2022-06-04T19:45:02Z) - Performance and accuracy assessments of an incompressible fluid solver
coupled with a deep Convolutional Neural Network [0.0]
ポアソン方程式の解法は、通常、非圧縮性流体解法における最も計算集約的なステップの1つである。
CNNはこの方程式を解くために導入され、推論時間を大幅に短縮した。
CNNと従来の反復解法を結合してユーザ定義の精度を保証するハイブリッド戦略が開発されている。
論文 参考訳（メタデータ） (2021-09-20T08:30:29Z) - Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。
本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。
最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文 参考訳（メタデータ） (2021-08-16T03:58:00Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳（メタデータ） (2021-08-09T08:45:47Z) - Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural
Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。
提案されたSIDNNは、幅広いOPFスキームと互換性がある。
他のLearning-to-OPFスキームとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-03-27T00:45:23Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳（メタデータ） (2021-03-14T20:43:19Z) - Fault Injectors for TensorFlow: Evaluation of the Impact of Random
Hardware Faults on Deep CNNs [4.854070123523902]
我々は,ランダムな障害の存在下での深層学習(dl)コンポーネントの動作を評価するための2つの新しいフォールトインジェクション(fi)フレームワークを提案する。
本稿では,2つの画像セットを用いた4つのvgg畳み込みnnを用いたfi実験の結果について述べる。
結果は、最も重要な操作とレイヤーを特定し、機能的に類似したNNの信頼性特性を比較し、選択的なフォールトトレランスメカニズムを導入するのに役立ちます。
論文 参考訳（メタデータ） (2020-12-13T11:16:25Z) - FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。
そこで本研究では、3次内積の計算複雑性を2。
性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文 参考訳（メタデータ） (2020-08-12T04:26:18Z) - Making Convolutions Resilient via Algorithm-Based Error Detection
Techniques [2.696566807900575]
畳み込みニューラルネットワーク(CNN)はリアルタイムテレメトリを正確に処理する。
CNNはハードウェア障害がある場合、正しく実行しなければならない。
完全な重複は必要な保証を提供するが、100%オーバーヘッドを引き起こす。
論文 参考訳（メタデータ） (2020-06-08T23:17:57Z) - HarDNN: Feature Map Vulnerability Evaluation in CNNs [23.24111155295923]
本稿では、CNN推論中に脆弱な計算を識別するためのソフトウェア指向アプローチであるHarDNNを提案する。
我々は,統計的誤差注入キャンペーンを用いて,CNNにおける特徴写像(fmap)の相対的脆弱性を正確に推定できることを示す。
その結果,HarDNNでは,余剰計算のレジリエンスの向上が超直線的であることがわかった。
論文 参考訳（メタデータ） (2020-02-22T23:05:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。