論文の概要: FTT-NAS: Discovering Fault-Tolerant Convolutional Neural Architecture
- arxiv url: http://arxiv.org/abs/2003.10375v2
- Date: Mon, 12 Apr 2021 16:15:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 22:15:25.957058
- Title: FTT-NAS: Discovering Fault-Tolerant Convolutional Neural Architecture
- Title（参考訳）: FTT-NAS:フォールトトレラントな畳み込みニューラルネットワークの発見
- Authors: Xuefei Ning, Guangjun Ge, Wenshuo Li, Zhenhua Zhu, Yin Zheng, Xiaoming
Chen, Zhen Gao, Yu Wang and Huazhong Yang
- Abstract要約: 我々は,近年のデバイスにおいて,様々な障害に頼っている畳み込みニューラルネットワーク(CNN)アーキテクチャを自動検出するために,FT-NAS(Fault-Tolerant Neural Architecture Search)を提案する。
CIFAR-10の実験では、発見されたアーキテクチャは他の手動設計のベースラインアーキテクチャよりも大幅に優れていた。
- 参考スコア（独自算出の注目度）: 19.91033746155525
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the fast evolvement of embedded deep-learning computing systems,
applications powered by deep learning are moving from the cloud to the edge.
When deploying neural networks (NNs) onto the devices under complex
environments, there are various types of possible faults: soft errors caused by
cosmic radiation and radioactive impurities, voltage instability, aging,
temperature variations, and malicious attackers. Thus the safety risk of
deploying NNs is now drawing much attention. In this paper, after the analysis
of the possible faults in various types of NN accelerators, we formalize and
implement various fault models from the algorithmic perspective. We propose
Fault-Tolerant Neural Architecture Search (FT-NAS) to automatically discover
convolutional neural network (CNN) architectures that are reliable to various
faults in nowadays devices. Then we incorporate fault-tolerant training (FTT)
in the search process to achieve better results, which is referred to as
FTT-NAS. Experiments on CIFAR-10 show that the discovered architectures
outperform other manually designed baseline architectures significantly, with
comparable or fewer floating-point operations (FLOPs) and parameters.
Specifically, with the same fault settings, F-FTT-Net discovered under the
feature fault model achieves an accuracy of 86.2% (VS. 68.1% achieved by
MobileNet-V2), and W-FTT-Net discovered under the weight fault model achieves
an accuracy of 69.6% (VS. 60.8% achieved by ResNet-20). By inspecting the
discovered architectures, we find that the operation primitives, the weight
quantization range, the capacity of the model, and the connection pattern have
influences on the fault resilience capability of NN models.
- Abstract（参考訳）: 組み込みディープラーニングコンピューティングシステムの急速な進化により、ディープラーニングを利用したアプリケーションはクラウドからエッジへと移行しつつある。
複雑な環境下でニューラルネットワーク(nns)をデバイスにデプロイする場合、宇宙放射線や放射性不純物に起因するソフトエラー、電圧不安定性、老化、温度変動、悪意のある攻撃など、さまざまな種類の障害が発生する。
そのため、NNを配備する際の安全リスクが注目されている。
本稿では,様々なタイプのnn加速器の故障を解析した結果,アルゴリズムの観点から様々な故障モデルを定式化し,実装する。
本稿では,近年のデバイスにおいて,様々な障害に対して信頼性の高い畳み込みニューラルネットワーク(CNN)アーキテクチャを自動検出するために,FT-NAS(Fault-Tolerant Neural Architecture Search)を提案する。
次に,FTT-NAS(FTT-NAS)と呼ばれる優れた結果を得るために,FTTを検索プロセスに組み込む。
CIFAR-10の実験では、発見されたアーキテクチャは他の手動設計のベースラインアーキテクチャよりも優れており、浮動小数点演算(FLOP)とパラメータが同等か少ないことが示されている。
特に、同じ障害設定で、機能障害モデルの下で発見されたF-FTT-Netは86.2%(MobileNet-V2で達成されたVS.68.1%)、重量故障モデルで発見されたW-FTT-Netは69.6%(ResNet-20で達成されたVS.60.8%)である。
検出したアーキテクチャを検査することで,演算プリミティブ,重み量子化範囲,モデルの容量,接続パターンがNNモデルの耐障害性に影響を与えることがわかった。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - NAS-ASDet: An Adaptive Design Method for Surface Defect Detection
Network using Neural Architecture Search [5.640706784987607]
表面欠陥検出のためのネットワークを適応的に設計するためのNAS-ASDetと呼ばれる新しい手法を提案する。
まず、特徴分布を適応的に調整できる、洗練された業界に適した検索空間を設計する。
そして、より高速に探索空間を探索するために、深い監視機構を備えたプログレッシブ検索戦略を用いる。
論文 参考訳（メタデータ） (2023-11-18T03:15:45Z) - Improving Reliability of Spiking Neural Networks through Fault Aware
Threshold Voltage Optimization [0.0]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックなハードウェアに自らを貸すことで、コンピュータビジョンを突破した。
Systolic-array SNNアクセラレータ(systolicSNN)が最近提案されているが、信頼性は依然として大きな懸念点である。
本稿では、リトレーニングにおける新しい故障軽減手法、すなわち、故障認識しきい値電圧の最適化について述べる(FalVolt)。
論文 参考訳（メタデータ） (2023-01-12T19:30:21Z) - CorrectNet: Robustness Enhancement of Analog In-Memory Computing for
Neural Networks by Error Suppression and Compensation [4.570841222958966]
本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。
ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
論文 参考訳（メタデータ） (2022-11-27T19:13:33Z) - enpheeph: A Fault Injection Framework for Spiking and Compressed Deep
Neural Networks [10.757663798809144]
スパイク・圧縮型ディープニューラルネットワーク(DNN)の故障注入フレームワークであるenpheephについて述べる。
ランダムかつ増加する故障数を注入することにより,DNNはパラメータあたり7 x 10 (-7) の故障率で精度を低下させることができ,精度は40%以上低下することを示した。
論文 参考訳（メタデータ） (2022-07-31T00:30:59Z) - Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。
これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。
提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
論文 参考訳（メタデータ） (2022-06-04T19:45:02Z) - Auto-PINN: Understanding and Optimizing Physics-Informed Neural
Architecture [77.59766598165551]
物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。
本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。
標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
論文 参考訳（メタデータ） (2022-05-27T03:24:31Z) - D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。
セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
論文 参考訳（メタデータ） (2021-08-20T09:07:01Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。
DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。
300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
論文 参考訳（メタデータ） (2020-07-17T08:32:11Z) - A Survey on Impact of Transient Faults on BNN Inference Accelerators [0.9667631210393929]
ビッグデータブームにより、非常に大きなデータセットへのアクセスと分析が容易になります。
ディープラーニングモデルは、計算能力と極めて高いメモリアクセスを必要とする。
本研究では,ソフトエラーが独自の深層学習アルゴリズムに与える影響が画像の劇的な誤分類を引き起こす可能性を実証した。
論文 参考訳（メタデータ） (2020-04-10T16:15:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。