論文の概要: ExPAN(N)D: Exploring Posits for Efficient Artificial Neural Network
Design in FPGA-based Systems
- arxiv url: http://arxiv.org/abs/2010.12869v2
- Date: Tue, 27 Oct 2020 05:28:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 13:28:06.439363
- Title: ExPAN(N)D: Exploring Posits for Efficient Artificial Neural Network
Design in FPGA-based Systems
- Title（参考訳）: ExPAN(N)D:FPGAシステムにおける効率的なニューラルネットワーク設計の可能性を探る
- Authors: Suresh Nambi, Salim Ullah, Aditya Lohana, Siva Satyendra Sahoo, Farhad
Merchant, Akash Kumar
- Abstract要約: 本稿では,ANNに対するポジット数表現方式の有効性と不動点演算の実装効率を解析し,比較する。
本稿では,ANNのための高性能かつ省エネなハードウェア実装を実現するための,新しい固定点変換器Posit to Fix-pointを提案する。
- 参考スコア（独自算出の注目度）: 4.2612881037640085
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent advances in machine learning, in general, and Artificial Neural
Networks (ANN), in particular, has made smart embedded systems an attractive
option for a larger number of application areas. However, the high
computational complexity, memory footprints, and energy requirements of machine
learning models hinder their deployment on resource-constrained embedded
systems. Most state-of-the-art works have considered this problem by proposing
various low bit-width data representation schemes, optimized arithmetic
operators' implementations, and different complexity reduction techniques such
as network pruning. To further elevate the implementation gains offered by
these individual techniques, there is a need to cross-examine and combine these
techniques' unique features. This paper presents ExPAN(N)D, a framework to
analyze and ingather the efficacy of the Posit number representation scheme and
the efficiency of fixed-point arithmetic implementations for ANNs. The Posit
scheme offers a better dynamic range and higher precision for various
applications than IEEE $754$ single-precision floating-point format. However,
due to the dynamic nature of the various fields of the Posit scheme, the
corresponding arithmetic circuits have higher critical path delay and resource
requirements than the single-precision-based arithmetic units. Towards this
end, we propose a novel Posit to fixed-point converter for enabling
high-performance and energy-efficient hardware implementations for ANNs with
minimal drop in the output accuracy. We also propose a modified Posit-based
representation to store the trained parameters of a network. Compared to an
$8$-bit fixed-point-based inference accelerator, our proposed implementation
offers $\approx46\%$ and $\approx18\%$ reductions in the storage requirements
of the parameters and energy consumption of the MAC units, respectively.
- Abstract（参考訳）: 最近の機械学習の進歩、特に人工知能ニューラルネットワーク(ANN)は、多くのアプリケーション分野において、スマート組み込みシステムを魅力的な選択肢にしている。
しかし、機械学習モデルの計算複雑性、メモリフットプリント、エネルギー要求は、リソース制約のある組み込みシステムへのデプロイを妨げる。
多くの最先端の研究は、様々な低ビット幅データ表現スキーム、最適化された演算子の実装、ネットワークプルーニングのような様々な複雑性低減技術を提案することでこの問題を考察している。
これらのテクニックによって提供される実装のメリットをさらに高めるためには、相互検査とこれらのテクニックのユニークな特徴を組み合わせる必要がある。
本稿では,ANNにおけるPosit数表現方式の有効性と不動点演算の実装効率を解析・獲得するフレームワークであるExPAN(N)Dを提案する。
PositスキームはIEEE 754$の単一精度浮動小数点数フォーマットよりも、より優れたダイナミックレンジと様々なアプリケーションに対して高い精度を提供する。
しかし、Positスキームの様々な分野の動的性質のため、対応する演算回路は単精度の演算ユニットよりも臨界経路遅延とリソース要求が高い。
そこで本研究では,出力精度を最小限に抑えつつ,高性能かつ省エネなハードウェア実装を実現するための,新しいPassit to fixed-point converterを提案する。
また,ネットワークのトレーニングパラメータを格納するために,修正されたポジットベース表現を提案する。
8 ビットの固定ポイントベースの推論アクセラレータと比較すると,提案手法では,mac ユニットのパラメータのストレージ要件とエネルギー消費量がそれぞれ $\approx46\%$ と $\approx18\%$ である。
関連論文リスト
- AdaLog: Post-Training Quantization for Vision Transformers with Adaptive Logarithm Quantizer [54.713778961605115]
Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて最も普及しているバックボーンネットワークの1つである。
本稿では,AdaLog(Adaptive Logarithm AdaLog)量子化器を提案する。
論文 参考訳（メタデータ） (2024-07-17T18:38:48Z) - Stochastic Configuration Machines: FPGA Implementation [4.57421617811378]
コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。
本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
論文 参考訳（メタデータ） (2023-10-30T02:04:20Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - Accurate, Low-latency, Efficient SAR Automatic Target Recognition on
FPGA [3.251765107970636]
合成開口レーダ(SAR)自動目標認識(ATR)はリモートセンシング画像認識の鍵となる技術である。
SAR ATRのための最先端の畳み込みニューラルネットワーク(CNN)は、エンハンハイ計算コストとエンハンラージメモリフットプリントに悩まされている。
本稿では,これらの問題に対処するため,FPGA 上でモデルアーキテクチャを包括的に設計する手法を提案する。
論文 参考訳（メタデータ） (2023-01-04T05:35:30Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - NullaNet Tiny: Ultra-low-latency DNN Inference Through Fixed-function
Combinational Logic [4.119948826527649]
フィールドプログラマブルゲートアレイ(FPGA)ベースのアクセラレータは、グラフィックス処理ユニット/中央処理ユニットベースのプラットフォームを置き換える深刻な競争相手として注目を集めています。
本稿では,資源とエネルギー効率,超低遅延FPGAベースニューラルネットワークアクセラレータ構築のためのフレームワークであるNullaNet Tinyを提案する。
論文 参考訳（メタデータ） (2021-04-07T00:16:39Z) - Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural
Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。
提案されたSIDNNは、幅広いOPFスキームと互換性がある。
他のLearning-to-OPFスキームとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-03-27T00:45:23Z) - ALF: Autoencoder-based Low-rank Filter-sharing for Efficient
Convolutional Neural Networks [63.91384986073851]
オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。
ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
論文 参考訳（メタデータ） (2020-07-27T09:01:22Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z) - Lightweight Residual Densely Connected Convolutional Neural Network [18.310331378001397]
畳み込みニューラルネットワークの深い監督, 効率的な勾配流, 特徴再利用能力を保証するために, 軽量な高密度連結ブロックを提案する。
提案手法は,特別なハードウェア・ソフトウェア機器を使わずに,トレーニングと推論のコストを低減させる。
論文 参考訳（メタデータ） (2020-01-02T17:15:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。