論文の概要: Enhancing Neural Network Robustness Against Fault Injection Through Non-linear Weight Transformations

• arxiv url: http://arxiv.org/abs/2411.19027v1
• Date: Thu, 28 Nov 2024 10:01:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:22:59.559977
• Title: Enhancing Neural Network Robustness Against Fault Injection Through Non-linear Weight Transformations
• Title（参考訳）: 非線型重み変換による欠陥注入に対するニューラルネットワークのロバスト性向上
• Authors: Ninnart Fuengfusin, Hakaru Tamukoh,
• Abstract要約: 本研究は飽和活性化関数(SAF)の適用によるDNN重みの制約に焦点を当てる。 SAFは、DNN重みが過大に大きくなる原因となる欠陥を防ぎ、モデル故障を引き起こす可能性がある。 本稿では,FP32 ResNet18とImageNet 2012のビット誤り率0.00001で動作し,精度を低下させる手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Deploying deep neural networks (DNNs) in real-world environments poses challenges due to faults that can manifest in physical hardware from radiation, aging, and temperature fluctuations. To address this, previous works have focused on protecting DNNs via activation range restriction using clipped ReLU and finding the optimal clipping threshold. However, this work instead focuses on constraining DNN weights by applying saturated activation functions (SAFs): Tanh, Arctan, and others. SAFs prevent faults from causing DNN weights to become excessively large, which can lead to model failure. These methods not only enhance the robustness of DNNs against fault injections but also improve DNN performance by a small margin. Before deployment, DNNs are trained with weights constrained by SAFs. During deployment, the weights without applied SAF are written to mediums with faults. When read, weights with faults are applied with SAFs and are used for inference. We demonstrate our proposed method across three datasets (CIFAR10, CIFAR100, ImageNet 2012) and across three datatypes (32-bit floating point (FP32), 16-bit floating point, and 8-bit fixed point). We show that our method enables FP32 ResNet18 with ImageNet 2012 to operate at a bit-error rate of 0.00001 with minor accuracy loss, while without the proposed method, the FP32 DNN only produces random guesses. Furthermore, to accelerate the training process, we demonstrate that an ImageNet 2012 pre-trained ResNet18 can be adapted to SAF by training for a few epochs with a slight improvement in Top-1 accuracy while still ensuring robustness against fault injection.
• Abstract（参考訳）: 現実世界の環境でディープニューラルネットワーク(DNN)をデプロイすることは、物理ハードウェアに放射線、老化、温度変動から現れる欠陥によって、問題を引き起こす。 これを解決するために、以前の研究は、クリッピングされたReLUを使用してアクティベーション範囲制限によるDNNの保護と、最適なクリッピングしきい値の探索に重点を置いている。 しかし、この研究は飽和活性化関数(SAF)を適用してDNN重みを制約することに焦点を当てている。 SAFは、DNN重みが過大に大きくなる原因となる欠陥を防ぎ、モデル故障を引き起こす可能性がある。 これらの手法は, 欠陥注入に対するDNNの堅牢性を向上するだけでなく, DNNの性能を小さなマージンで向上させる。 配備前には、DNNはSAFによって制限された重量で訓練される。 配備中、SAFを適用しない重量は欠陥のある媒体に書き込まれる。 読み取ると、障害のある重みがSAFに適用され、推論に使用される。 提案手法は3つのデータセット(CIFAR10, CIFAR100, ImageNet 2012)と3つのデータタイプ(32ビット浮動小数点(FP32),16ビット浮動小数点(FP32),8ビット不動小数点)にまたがる。 提案手法は,FP32 ResNet18とImageNet 2012のビット誤り率0.00001で動作可能であり,精度の低下は少ないが,提案手法がなければ,FP32 DNNはランダムな推測しか生成しないことを示す。 さらに、トレーニングプロセスを加速するために、ImageNet 2012で事前訓練されたResNet18を、Top-1の精度をわずかに向上しつつ、障害注入に対する堅牢性を確保しつつ、いくつかのエポックに対してトレーニングすることで、SAFに適応できることを実証した。

関連論文リスト

• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• FlatENN: Train Flat for Enhanced Fault Tolerance of Quantized Deep Neural Networks [0.03807314298073299]
  アクティベーションスパース量子化DNN(QDNN)に対するビットフリップおよびスタントアット断層の影響について検討する。 高いレベルのアクティベーション間隔は、障害に対する大きな脆弱性のコストが伴うことを示す。 本稿では,シャープネスを考慮した量子化手法を用いて,断層の影響を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-12-29T06:06:14Z)
• Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
  証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。 線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2022-06-15T22:42:29Z)
• Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead [67.87678914831477]
  ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。 最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。 本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-05-28T13:09:30Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Black-box Safety Analysis and Retraining of DNNs based on Feature Extraction and Clustering [0.9590956574213348]
  DNNエラーの根本原因を自動的に識別するブラックボックスアプローチであるSAFEを提案する。 これは、ImageNetで事前訓練された転送学習モデルを使用して、エラー誘発画像から特徴を抽出する。 次に、密度に基づくクラスタリングアルゴリズムを適用し、誤りのもっともらしい原因をモデル化した画像の任意の形状のクラスタを検出する。
  論文  参考訳（メタデータ） (2022-01-13T17:02:57Z)
• FitAct: Error Resilient Deep Neural Networks via Fine-Grained Post-Trainable Activation Functions [0.05249805590164901]
  ディープニューラルネットワーク(DNN)は、パーソナルヘルスケアデバイスや自動運転車などの安全クリティカルなシステムにますます導入されている。 本稿では,DNNの微粒化後のアクティベーション機能を実装することで,DNNのエラーレジリエンスを高めるための低コストなアプローチであるFitActを提案する。
  論文  参考訳（メタデータ） (2021-12-27T07:07:50Z)
• Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
  固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。 これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
  論文  参考訳（メタデータ） (2021-04-16T19:11:14Z)
• An Integrated Approach to Produce Robust Models with High Efficiency [9.476463361600828]
  量子化と構造単純化はモバイルデバイスにディープニューラルネットワーク(DNN)を適用するための有望な方法である。 本研究では, 収束緩和量子化アルゴリズムであるBinary-Relax (BR) を, 頑健な逆学習モデルResNets Ensembleに適用することにより, 両特徴の獲得を試みる。 我々は、DNNが自然の精度を維持し、チャネルの間隔を改善するのに役立つトレードオフ損失関数を設計する。
  論文  参考訳（メタデータ） (2020-08-31T00:44:59Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。