論文の概要: Reliability-Aware Quantization for Anti-Aging NPUs

• arxiv url: http://arxiv.org/abs/2103.04812v1
• Date: Mon, 8 Mar 2021 15:13:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 15:11:00.565144
• Title: Reliability-Aware Quantization for Anti-Aging NPUs
• Title（参考訳）: アンチエイジングNPUの信頼性認識量子化
• Authors: Sami Salamin, Georgios Zervakis, Ourania Spantidi, Iraklis Anagnostopoulos, J\"org Henkel, Hussam Amrouch
• Abstract要約: ニューラルプロセッシングユニット(NPU)の経年変化を解消する信頼性認識量子化を提案する。 本手法は,老化によるnpuの遅延増加を補償しながら,時間とともに優雅な推論精度の低下をもたらす。 ImageNetデータセットでトレーニングされた10以上の最先端ニューラルネットワークアーキテクチャによる評価は、10年間の生涯平均精度損失がわずか3%であることを示している。
• 参考スコア（独自算出の注目度）: 3.171120700157178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transistor aging is one of the major concerns that challenges designers in advanced technologies. It profoundly degrades the reliability of circuits during its lifetime as it slows down transistors resulting in errors due to timing violations unless large guardbands are included, which leads to considerable performance losses. When it comes to Neural Processing Units (NPUs), where increasing the inference speed is the primary goal, such performance losses cannot be tolerated. In this work, we are the first to propose a reliability-aware quantization to eliminate aging effects in NPUs while completely removing guardbands. Our technique delivers a graceful inference accuracy degradation over time while compensating for the aging-induced delay increase of the NPU. Our evaluation, over ten state-of-the-art neural network architectures trained on the ImageNet dataset, demonstrates that for an entire lifetime of 10 years, the average accuracy loss is merely 3%. In the meantime, our technique achieves 23% higher performance due to the elimination of the aging guardband.
• Abstract（参考訳）: トランジスタの老化は、デザイナーが先進技術に挑戦する主な懸念の1つだ。 これは、大きなガードバンドを含まないとタイミング違反によりトランジスタが遅くなるため、トランジスタの寿命中に回路の信頼性が著しく低下し、パフォーマンスが大幅に低下する。 推論速度を上げることが主な目標であるニューラルプロセッシングユニット(NPU)に関しては、そのようなパフォーマンスの損失は許容できません。 本研究では, ガードバンドを完全に取り除いたまま, NPUの老化効果を排除するために, 信頼性を考慮した量子化を提案する。 本手法は,老化によるnpuの遅延増加を補償しながら,時間とともに優雅な推論精度の低下をもたらす。 ImageNetデータセットでトレーニングされた10以上の最先端ニューラルネットワークアーキテクチャによる評価は、10年間の生涯平均精度損失がわずか3%であることを示している。 その間、私達の技術は老化のガードバンドの除去による23%のより高い性能を達成します。

関連論文リスト

• Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
  異常と欠落したデータは、産業応用における厄介な問題を構成する。 ディープラーニングによる異常検出が重要な方向として現れている。 エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
  論文  参考訳（メタデータ） (2024-11-06T15:38:31Z)
• Accurate and Reliable Predictions with Mutual-Transport Ensemble [46.368395985214875]
  Kullback-Leibler (KL) を用いた共学習補助モデルの提案とクロスエントロピー損失の適応的正則化 MTEは精度と不確実性の両方を同時に向上させることができる。 例えば、CIFAR-100データセットでは、我々のResNet34/50上のMTEメソッドは、従来の最先端の手法に比べて大幅に改善された。
  論文  参考訳（メタデータ） (2024-05-30T03:15:59Z)
• DOCTOR: Dynamic On-Chip Temporal Variation Remediation Toward Self-Corrected Photonic Tensor Accelerators [5.873308516576125]
  フォトニックテンソル加速器は、非平行な速度とエネルギー効率を提供する。 光学的ニューラル加速器の変動耐性を高めるために、オフチップノイズ認識トレーニングとオンチップトレーニングが提案されている。 DOCTORと呼ばれる軽量な動的オンチップ・フレームワークを提案し、時間的ドリフトノイズに対して適応的かつその場での精度回復を実現する。
  論文  参考訳（メタデータ） (2024-03-05T06:17:13Z)
• The Surprising Effectiveness of Skip-Tuning in Diffusion Sampling [78.6155095947769]
  Skip-Tuningは、スキップ接続上でシンプルだが驚くほど効果的にトレーニング不要なチューニング方法である。 ImageNet 64 では 19 NFE (1.75) で事前訓練された EDM に対して100% FID の改善が可能である。 Skip-Tuningは画素空間におけるスコアマッチング損失を増加させる一方、特徴空間における損失は減少する。
  論文  参考訳（メタデータ） (2024-02-23T08:05:23Z)
• RescueSNN: Enabling Reliable Executions on Spiking Neural Network Accelerators under Permanent Faults [15.115813664357436]
  RescueSNNはSNNチップの計算エンジンにおける永久欠陥を軽減する新しい手法である。 RescueSNNは、高い故障率で25%未満のスループットの削減を維持しながら、最大80%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-04-08T15:24:57Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• GNN4REL: Graph Neural Networks for Predicting Circuit Reliability Degradation [7.650966670809372]
  我々はグラフニューラルネットワーク(GNN)を用いて、プロセスの変動とデバイス老化が回路内の任意の経路の遅延に与える影響を正確に推定する。 GNN4RELは、工業用14nm計測データに対して校正されたFinFET技術モデルに基づいて訓練されている。 我々は、平均絶対誤差を0.01ポイントまで下げて、全経路(特に数秒以内)の遅延劣化をうまく見積もった。
  論文  参考訳（メタデータ） (2022-08-04T20:09:12Z)
• Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead [67.87678914831477]
  ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。 最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。 本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-05-28T13:09:30Z)
• Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization [30.098268054714048]
  非同期離散イベントで動作するスパイキングニューラルネットワーク(SNN)は、スパース計算によるエネルギー効率の向上を示す。 ディープSNNを実装するための一般的なアプローチは、ANNの効率的なトレーニングとSNNの効率的な推論を組み合わせたANN-SNN変換である。 本稿では,SNNにおける負または過フロー残留膜電位の誤表現に起因する性能劣化を最初に同定する。 そこで我々は,変換誤差を量子化誤差,クリッピング誤差,残留膜電位表現誤差の3つの部分に分解した。
  論文  参考訳（メタデータ） (2022-05-16T06:53:14Z)
• A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration Framework [56.57225686288006]
  モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。 従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。 プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-13T23:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。