論文の概要: On the Resilience of Deep Learning for Reduced-voltage FPGAs

• arxiv url: http://arxiv.org/abs/2001.00053v1
• Date: Thu, 26 Dec 2019 15:08:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-10 07:51:40.269652
• Title: On the Resilience of Deep Learning for Reduced-voltage FPGAs
• Title（参考訳）: 減電圧FPGAにおけるディープラーニングのレジリエンスについて
• Authors: Kamyar Givaki, Behzad Salami, Reza Hojabr, S. M. Reza Tayaranian, Ahmad Khonsari, Dara Rahmati, Saeid Gorgin, Adrian Cristal, Osman S. Unsal
• Abstract要約: 本稿では、FPGAの電圧アンダスケーリング関連欠陥の存在下で、Deep Neural Networks(DNN)のトレーニングフェーズのレジリエンスを実験的に評価する。 我々は、最近のFPGAが極低電圧レベルで十分に堅牢であることを発見した。 精度のギャップを埋めるためには、およそ10%のトレーニングが必要になります。
• 参考スコア（独自算出の注目度）: 1.7998044061364233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) are inherently computation-intensive and also power-hungry. Hardware accelerators such as Field Programmable Gate Arrays (FPGAs) are a promising solution that can satisfy these requirements for both embedded and High-Performance Computing (HPC) systems. In FPGAs, as well as CPUs and GPUs, aggressive voltage scaling below the nominal level is an effective technique for power dissipation minimization. Unfortunately, bit-flip faults start to appear as the voltage is scaled down closer to the transistor threshold due to timing issues, thus creating a resilience issue. This paper experimentally evaluates the resilience of the training phase of DNNs in the presence of voltage underscaling related faults of FPGAs, especially in on-chip memories. Toward this goal, we have experimentally evaluated the resilience of LeNet-5 and also a specially designed network for CIFAR-10 dataset with different activation functions of Rectified Linear Unit (Relu) and Hyperbolic Tangent (Tanh). We have found that modern FPGAs are robust enough in extremely low-voltage levels and that low-voltage related faults can be automatically masked within the training iterations, so there is no need for costly software- or hardware-oriented fault mitigation techniques like ECC. Approximately 10% more training iterations are needed to fill the gap in the accuracy. This observation is the result of the relatively low rate of undervolting faults, i.e., <0.1\%, measured on real FPGA fabrics. We have also increased the fault rate significantly for the LeNet-5 network by randomly generated fault injection campaigns and observed that the training accuracy starts to degrade. When the fault rate increases, the network with Tanh activation function outperforms the one with Relu in terms of accuracy, e.g., when the fault rate is 30% the accuracy difference is 4.92%.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は本質的に計算集約的であり、パワーハングリーでもある。 Field Programmable Gate Arrays (FPGA) のようなハードウェアアクセラレータは、組み込みおよびハイパフォーマンスコンピューティング(HPC)システムの両方の要件を満たす、有望なソリューションである。 fpgaやcpuやgpuでは、名目レベル以下のアグレッシブ電圧スケーリングは、電力散逸を最小化する効果的な手法である。 残念ながら、電圧がタイミングの問題によりトランジスタしきい値に近づくとビットフリップの故障が出現し始め、レジリエンスの問題が発生する。 本稿では、FPGAの電圧アンダスケーリング関連故障、特にオンチップメモリにおけるDNNのトレーニングフェーズのレジリエンスを実験的に評価する。 この目的に向けて、我々はLeNet-5のレジリエンスと、Rectified Linear Unit(Relu)とHyperbolic Tangent(Tanh)の異なるアクティベーション機能を持つCIFAR-10データセットのための特別設計ネットワークを実験的に評価した。 最新のFPGAは、極低電圧レベルで十分に堅牢であり、低電圧関連の故障をトレーニングイテレーション中に自動的に隠蔽できるため、ECCのようなコストのかかるソフトウェアやハードウェア指向の故障軽減技術は不要である。 精度のギャップを埋めるために、およそ10%のトレーニングイテレーションが必要である。 この観測は、実際のFPGAファブリック上で測定された低電圧断層の比較的低い速度、すなわち <0.1\%の結果である。 また,ランダムに発生した故障注入キャンペーンにより,LeNet-5ネットワークの故障率を有意に向上させ,トレーニング精度が低下し始めた。 フォールトレートが増加すると、tangアクティベーション関数を持つネットワークは、精度の点でreluのネットワークを上回る。例えば、フォールトレートが30%である場合、精度の差は4.92%である。

関連論文リスト

• On-Chip Learning with Memristor-Based Neural Networks: Assessing Accuracy and Efficiency Under Device Variations, Conductance Errors, and Input Noise [0.0]
  本稿では,オンチップトレーニングと推論のためのメモリメモリハードウェアアクセラレータを提案する。 30メムリスタと4つのニューロンからなるハードウェアは、タングステン、クロム、炭素媒体を持つ3つの異なるM-SDC構造を用いてバイナリ画像分類タスクを実行する。
  論文  参考訳（メタデータ） (2024-08-26T23:10:01Z)
• SpacTor-T5: Pre-training T5 Models with Span Corruption and Replaced Token Detection [49.43407207482008]
  SpacTorは、スパン汚職(SC)とトークン置換検出(RTD)を組み合わせたハイブリッド目標からなる新しいトレーニング手順である。 各種NLPタスクにおけるエンコーダ・デコーダアーキテクチャ(T5)による実験では、SpacTor-T5は標準のSCプリトレーニングと同じダウンストリーム性能が得られる。
  論文  参考訳（メタデータ） (2024-01-24T00:36:13Z)
• Improving Reliability of Spiking Neural Networks through Fault Aware Threshold Voltage Optimization [0.0]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックなハードウェアに自らを貸すことで、コンピュータビジョンを突破した。 Systolic-array SNNアクセラレータ(systolicSNN)が最近提案されているが、信頼性は依然として大きな懸念点である。 本稿では、リトレーニングにおける新しい故障軽減手法、すなわち、故障認識しきい値電圧の最適化について述べる(FalVolt)。
  論文  参考訳（メタデータ） (2023-01-12T19:30:21Z)
• CorrectNet: Robustness Enhancement of Analog In-Memory Computing for Neural Networks by Error Suppression and Compensation [4.570841222958966]
  本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。 ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-27T19:13:33Z)
• GNN4REL: Graph Neural Networks for Predicting Circuit Reliability Degradation [7.650966670809372]
  我々はグラフニューラルネットワーク(GNN)を用いて、プロセスの変動とデバイス老化が回路内の任意の経路の遅延に与える影響を正確に推定する。 GNN4RELは、工業用14nm計測データに対して校正されたFinFET技術モデルに基づいて訓練されている。 我々は、平均絶対誤差を0.01ポイントまで下げて、全経路(特に数秒以内)の遅延劣化をうまく見積もった。
  論文  参考訳（メタデータ） (2022-08-04T20:09:12Z)
• On the Tradeoff between Energy, Precision, and Accuracy in Federated Quantized Neural Networks [68.52621234990728]
  無線ネットワーク上でのフェデレーション学習(FL)は、精度、エネルギー効率、精度のバランスをとる必要がある。 本稿では,ローカルトレーニングとアップリンク伝送の両方において,有限レベルの精度でデータを表現できる量子化FLフレームワークを提案する。 我々のフレームワークは標準的なFLモデルと比較してエネルギー消費量を最大53%削減できる。
  論文  参考訳（メタデータ） (2021-11-15T17:00:03Z)
• Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
  固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。 これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
  論文  参考訳（メタデータ） (2021-04-16T19:11:14Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• An Experimental Study of Reduced-Voltage Operation in Modern FPGAs for Neural Network Acceleration [9.06484009562659]
  安全な電圧レベル以下では、過度の回路遅延の増加によるタイミング障害が発生する可能性がある。 実FPGAの複数成分の低電圧動作について実験的に検討した。 減圧運転の欠点を最小限に抑える手法を提案する。
  論文  参考訳（メタデータ） (2020-05-04T22:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。