論文の概要: Adaptive Block Floating-Point for Analog Deep Learning Hardware

• arxiv url: http://arxiv.org/abs/2205.06287v1
• Date: Thu, 12 May 2022 18:05:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 03:24:00.832137
• Title: Adaptive Block Floating-Point for Analog Deep Learning Hardware
• Title（参考訳）: アナログ深層学習ハードウェアのための適応ブロック浮動小数点法
• Authors: Ayon Basumallik, Darius Bunandar, Nicholas Dronen, Nicholas Harris, Ludmila Levkova, Calvin McCarter, Lakshmi Nair, David Walter, David Widemann
• Abstract要約: アナログ混合信号(AMS)デバイスは、デジタル信号よりも高速でエネルギー効率の高いディープニューラルネットワーク(DNN)推論を約束する。 近年の研究では、固定点数を持つAMSデバイス上でのDNNは、精度の低下により精度の低下を招き得ることが示されている。 AMS互換適応ブロック浮動小数点(ABFP)数表現を提案する。
• 参考スコア（独自算出の注目度）: 1.6997472894492924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Analog mixed-signal (AMS) devices promise faster, more energy-efficient deep neural network (DNN) inference than their digital counterparts. However, recent studies show that DNNs on AMS devices with fixed-point numbers can incur an accuracy penalty because of precision loss. To mitigate this penalty, we present a novel AMS-compatible adaptive block floating-point (ABFP) number representation. We also introduce amplification (or gain) as a method for increasing the accuracy of the number representation without increasing the bit precision of the output. We evaluate the effectiveness of ABFP on the DNNs in the MLPerf datacenter inference benchmark -- realizing less than $1\%$ loss in accuracy compared to FLOAT32. We also propose a novel method of finetuning for AMS devices, Differential Noise Finetuning (DNF), which samples device noise to speed up finetuning compared to conventional Quantization-Aware Training.
• Abstract（参考訳）: アナログ混合信号(AMS)デバイスは、デジタル信号よりも高速でエネルギー効率の高いディープニューラルネットワーク(DNN)推論を約束する。 しかし、近年の研究では、固定点数を持つAMSデバイス上のDNNが精度の低下により精度の低下を招き得ることが示されている。 このペナルティを緩和するために、AMS互換適応ブロック浮動小数点(ABFP)数表現を提案する。 また、出力のビット精度を増加させることなく、数表現の精度を向上させる方法として増幅(または利得)を導入する。 MLPerf データセンター推論ベンチマークにおける DNN に対する ABFP の有効性を評価する。 また,従来の量子化アウェアトレーニングと比較して,デバイスのノイズをサンプリングして微調整を高速化する差動ノイズ微調整(dnf)法を提案する。

関連論文リスト

• SignSGD with Federated Voting [69.06621279967865]
  SignSGD with majority voting (signSGD-MV) は1ビット量子化により通信コストを大幅に削減できる効果的な分散学習アルゴリズムである。 我々は、テキストフェデレート投票(signSGD-FV)を用いた新しいサインSGDを提案する。 連合投票の考え方は、学習可能な重量を利用して多数決を行うことである。 提案手法は, エッジデバイスが不均一なミニバッチサイズを使用する場合でも, 理論的収束を保証する。
  論文  参考訳（メタデータ） (2024-03-25T02:32:43Z)
• U-SWIM: Universal Selective Write-Verify for Computing-in-Memory Neural Accelerators [8.813981342105151]
  書き込み検証を要求される重みを識別する新しい方法であるUSWIMを紹介する。 USWIMは、従来の徹底的な書き込み検証手法に対して、プログラムアクセラレーションを最大10倍に向上させる。 以前のSWIM技術と比較すると、USWIMは非均一な変化を示すデバイスを扱う場合のスピードアップを7倍に向上させる。
  論文  参考訳（メタデータ） (2023-12-11T05:47:16Z)
• Fixflow: A Framework to Evaluate Fixed-point Arithmetic in Light-Weight CNN Inference [0.0]
  畳み込みニューラルネットワーク(CNN)は、IoTアプリケーションのリソース制約されたデバイスで広く利用されている。 本稿では,異なる固定点ハードウェアユニットがCNN推定精度に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-02-19T12:48:52Z)
• Signal Detection in MIMO Systems with Hardware Imperfections: Message Passing on Neural Networks [101.59367762974371]
  本稿では,Multi-Input-multiple-output (MIMO)通信システムにおける信号検出について検討する。 パイロット信号が限られているディープニューラルネットワーク(DNN)のトレーニングは困難であり、実用化を妨げている。 我々は、ユニタリ近似メッセージパッシング(UAMP)アルゴリズムを利用して、効率的なメッセージパッシングに基づくベイズ信号検出器を設計する。
  論文  参考訳（メタデータ） (2022-10-08T04:32:58Z)
• MemSE: Fast MSE Prediction for Noisy Memristor-Based DNN Accelerators [5.553959304125023]
  我々は,行列ベクトル乗算(MVM)を計算するためにmemristorを用いたDNNの平均二乗誤差を理論的に解析する。 DNNモデルのサイズを小さくする必要性から量子化ノイズと、中間値のプログラミングにおける可変性から生じるプログラミングノイズの両方を考慮に入れている。 提案手法はモンテカルロシミュレーションよりも約2桁高速であり, 与えられた電力制約に対して最小限の誤差を達成するために, 実装パラメータを最適化することができる。
  論文  参考訳（メタデータ） (2022-05-03T18:10:43Z)
• Energy Efficient Learning with Low Resolution Stochastic Domain Wall Synapse Based Deep Neural Networks [0.9176056742068814]
  ドメインウォール(DW)位置の変動が大きい超低分解能(少なくとも5状態)シナプスは、エネルギー効率が良く、高い検定精度が得られることを実証した。 学習アルゴリズムに適切な修正を施すことにより,その動作と,その低分解能の効果に対処し,高いテスト精度を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-11-14T09:12:29Z)
• Two-Timescale End-to-End Learning for Channel Acquisition and Hybrid Precoding [94.40747235081466]
  本研究では,ミリ波(mmWave)大規模マルチインプット多重出力(MIMO)システムのためのエンドツーエンドの深層学習に基づくジョイントトランスシーバ設計アルゴリズムを提案する。 我々は受信したパイロットを受信機でフィードバックビットにマッピングし、さらに送信機でハイブリッドプリコーダにフィードバックビットをマッピングするDNNアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2021-10-22T20:49:02Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
  我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。 我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。 私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
  論文  参考訳（メタデータ） (2020-11-17T12:52:18Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。