論文の概要: Reliability-Aware Quantization for Anti-Aging NPUs
- arxiv url: http://arxiv.org/abs/2103.04812v1
- Date: Mon, 8 Mar 2021 15:13:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-09 15:11:00.565144
- Title: Reliability-Aware Quantization for Anti-Aging NPUs
- Title(参考訳): アンチエイジングNPUの信頼性認識量子化
- Authors: Sami Salamin, Georgios Zervakis, Ourania Spantidi, Iraklis
Anagnostopoulos, J\"org Henkel, Hussam Amrouch
- Abstract要約: ニューラルプロセッシングユニット(NPU)の経年変化を解消する信頼性認識量子化を提案する。
本手法は,老化によるnpuの遅延増加を補償しながら,時間とともに優雅な推論精度の低下をもたらす。
ImageNetデータセットでトレーニングされた10以上の最先端ニューラルネットワークアーキテクチャによる評価は、10年間の生涯平均精度損失がわずか3%であることを示している。
- 参考スコア(独自算出の注目度): 3.171120700157178
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transistor aging is one of the major concerns that challenges designers in
advanced technologies. It profoundly degrades the reliability of circuits
during its lifetime as it slows down transistors resulting in errors due to
timing violations unless large guardbands are included, which leads to
considerable performance losses. When it comes to Neural Processing Units
(NPUs), where increasing the inference speed is the primary goal, such
performance losses cannot be tolerated. In this work, we are the first to
propose a reliability-aware quantization to eliminate aging effects in NPUs
while completely removing guardbands. Our technique delivers a graceful
inference accuracy degradation over time while compensating for the
aging-induced delay increase of the NPU. Our evaluation, over ten
state-of-the-art neural network architectures trained on the ImageNet dataset,
demonstrates that for an entire lifetime of 10 years, the average accuracy loss
is merely 3%. In the meantime, our technique achieves 23% higher performance
due to the elimination of the aging guardband.
- Abstract(参考訳): トランジスタの老化は、デザイナーが先進技術に挑戦する主な懸念の1つだ。
これは、大きなガードバンドを含まないとタイミング違反によりトランジスタが遅くなるため、トランジスタの寿命中に回路の信頼性が著しく低下し、パフォーマンスが大幅に低下する。
推論速度を上げることが主な目標であるニューラルプロセッシングユニット(NPU)に関しては、そのようなパフォーマンスの損失は許容できません。
本研究では, ガードバンドを完全に取り除いたまま, NPUの老化効果を排除するために, 信頼性を考慮した量子化を提案する。
本手法は,老化によるnpuの遅延増加を補償しながら,時間とともに優雅な推論精度の低下をもたらす。
ImageNetデータセットでトレーニングされた10以上の最先端ニューラルネットワークアーキテクチャによる評価は、10年間の生涯平均精度損失がわずか3%であることを示している。
その間、私達の技術は老化のガードバンドの除去による23%のより高い性能を達成します。
関連論文リスト
- DOCTOR: Dynamic On-Chip Remediation Against Temporally-Drifting Thermal
Variations Toward Self-Corrected Photonic Tensor Accelerators [6.601010179779731]
フォトニックテンソル加速器は、非平行な速度とエネルギー効率を提供する。
光学的ニューラル加速器の変動耐性を高めるために、オフチップノイズ認識トレーニングとオンチップトレーニングが提案されている。
DOCTORと呼ばれる軽量な動的オンチップ・フレームワークを提案し、時間的ドリフトノイズに対して適応的かつその場での精度回復を実現する。
論文 参考訳(メタデータ) (2024-03-05T06:17:13Z) - The Surprising Effectiveness of Skip-Tuning in Diffusion Sampling [78.6155095947769]
Skip-Tuningは、スキップ接続上でシンプルだが驚くほど効果的にトレーニング不要なチューニング方法である。
ImageNet 64 では 19 NFE (1.75) で事前訓練された EDM に対して100% FID の改善が可能である。
Skip-Tuningは画素空間におけるスコアマッチング損失を増加させる一方、特徴空間における損失は減少する。
論文 参考訳(メタデータ) (2024-02-23T08:05:23Z) - RescueSNN: Enabling Reliable Executions on Spiking Neural Network
Accelerators under Permanent Faults [15.115813664357436]
RescueSNNはSNNチップの計算エンジンにおける永久欠陥を軽減する新しい手法である。
RescueSNNは、高い故障率で25%未満のスループットの削減を維持しながら、最大80%の精度向上を実現している。
論文 参考訳(メタデータ) (2023-04-08T15:24:57Z) - HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer
Compression [69.36555801766762]
本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。
ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
論文 参考訳(メタデータ) (2022-11-30T05:31:45Z) - GNN4REL: Graph Neural Networks for Predicting Circuit Reliability
Degradation [7.650966670809372]
我々はグラフニューラルネットワーク(GNN)を用いて、プロセスの変動とデバイス老化が回路内の任意の経路の遅延に与える影響を正確に推定する。
GNN4RELは、工業用14nm計測データに対して校正されたFinFET技術モデルに基づいて訓練されている。
我々は、平均絶対誤差を0.01ポイントまで下げて、全経路(特に数秒以内)の遅延劣化をうまく見積もった。
論文 参考訳(メタデータ) (2022-08-04T20:09:12Z) - Robust Trajectory Prediction against Adversarial Attacks [84.10405251683713]
ディープニューラルネットワーク(DNN)を用いた軌道予測は、自律運転システムにおいて不可欠な要素である。
これらの手法は敵の攻撃に対して脆弱であり、衝突などの重大な結果をもたらす。
本研究では,敵対的攻撃に対する軌道予測モデルを保護するための2つの重要な要素を同定する。
論文 参考訳(メタデータ) (2022-07-29T22:35:05Z) - Fault-Aware Design and Training to Enhance DNNs Reliability with
Zero-Overhead [67.87678914831477]
ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。
最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。
本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
論文 参考訳(メタデータ) (2022-05-28T13:09:30Z) - Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure
DNN Accelerators [105.60654479548356]
固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。
これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
論文 参考訳(メタデータ) (2021-04-16T19:11:14Z) - An Experimental Study of Reduced-Voltage Operation in Modern FPGAs for
Neural Network Acceleration [9.06484009562659]
安全な電圧レベル以下では、過度の回路遅延の増加によるタイミング障害が発生する可能性がある。
実FPGAの複数成分の低電圧動作について実験的に検討した。
減圧運転の欠点を最小限に抑える手法を提案する。
論文 参考訳(メタデータ) (2020-05-04T22:59:07Z) - A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration
Framework [56.57225686288006]
モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。
従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。
プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-13T23:52:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。