論文の概要: Comparative Analysis of Polynomial and Rational Approximations of
Hyperbolic Tangent Function for VLSI Implementation
- arxiv url: http://arxiv.org/abs/2007.11976v2
- Date: Thu, 24 Sep 2020 13:41:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 00:44:24.566112
- Title: Comparative Analysis of Polynomial and Rational Approximations of
Hyperbolic Tangent Function for VLSI Implementation
- Title（参考訳）: vlsi実装のための双曲接関数の多項式と有理近似の比較解析
- Authors: Mahesh Chandra
- Abstract要約: ディープニューラルネットワークは、多くのコンピュータビジョンや、オブジェクト検出や音声認識などのヒューマンマシンインタフェースアプリケーションにおいて、最先端の結果をもたらす。
これらのネットワークは計算コストがかかるため、より低コストで必要な性能を達成するためにカスタマイズされたアクセラレータが設計されている。
- 参考スコア（独自算出の注目度）: 5.429955391775968
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks yield the state-of-the-art results in many computer
vision and human machine interface applications such as object detection,
speech recognition etc. Since, these networks are computationally expensive,
customized accelerators are designed for achieving the required performance at
lower cost and power. One of the key building blocks of these neural networks
is non-linear activation function such as sigmoid, hyperbolic tangent (tanh),
and ReLU. A low complexity accurate hardware implementation of the activation
function is required to meet the performance and area targets of the neural
network accelerators. Even though, various methods and implementations of tanh
activation function have been published, a comparative study is missing. This
paper presents comparative analysis of polynomial and rational methods and
their hardware implementation.
- Abstract（参考訳）: ディープニューラルネットワークは、オブジェクト検出や音声認識など、多くのコンピュータビジョンやヒューマンマシンインタフェースアプリケーションにおいて最先端の結果をもたらす。
これらのネットワークは計算コストがかかるため、低コストで必要な性能を達成するためにカスタマイズされたアクセラレータが設計されている。
これらのニューラルネットワークの重要な構成要素の1つは、シグモノイド、双曲タンジェント(tanh)、ReLUのような非線形活性化関数である。
ニューラルネットワークアクセラレータの性能と領域目標を満たすためには,アクティベーション関数のハードウェア実装が低複雑性である必要がある。
tanh活性化関数の様々な方法や実装が公表されているが、比較研究は欠落している。
本稿では多項式法と有理法の比較解析とハードウェア実装について述べる。
関連論文リスト
- The Promise of Analog Deep Learning: Recent Advances, Challenges and Opportunities [2.9312156642007303]
アナログ実装における深層学習の進歩とともに、そのメリットとデメリットを評価し、特定する。
これらのハードウェアデバイスを用いて実装されたニューラルネットワークに基づく実験を同定し、異なるアナログ深層学習法により達成された比較性能について議論する。
全体としては、Analog Deep Learningは将来のコンシューマレベルのアプリケーションにとって大きな可能性を秘めていますが、スケーラビリティに関してはまだ長い道のりがあります。
論文 参考訳（メタデータ） (2024-06-13T07:52:33Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - From DNNs to GANs: Review of efficient hardware architectures for deep
learning [0.0]
ニューラルネットワークとディープラーニングが現在の研究パラダイムに影響を与え始めている。
DSPプロセッサは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成的敵ネットワーク操作を実行することができない。
異なるアルゴリズムは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成対向ネットワークにおける高速なパフォーマンスに適合するDSPプロセッサを設計するために適合している。
論文 参考訳（メタデータ） (2021-06-06T13:23:06Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳（メタデータ） (2021-03-15T12:54:26Z) - Ps and Qs: Quantization-aware pruning for efficient low latency neural
network inference [56.24109486973292]
超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。
量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
論文 参考訳（メタデータ） (2021-02-22T19:00:05Z) - Activation function impact on Sparse Neural Networks [0.0]
スパース進化的トレーニングは、完全に連結されたモデルと比較して計算の複雑さを著しく減らすことができる。
本研究は, 使用したアクティベーション関数とネットワーク性能の関係に関する知見を提供する。
論文 参考訳（メタデータ） (2020-10-12T18:05:04Z) - Hardware Implementation of Hyperbolic Tangent Function using Catmull-Rom
Spline Interpolation [5.429955391775968]
ディープニューラルネットワークは、多くのコンピュータビジョンや、オブジェクト認識や音声認識などのヒューマンマシンインタフェースタスクにおいて、最先端の成果をもたらす。
これらのネットワークは計算コストがかかるため、より低コストで必要な性能を達成するためにカスタマイズされたアクセラレータが設計されている。
論文 参考訳（メタデータ） (2020-07-13T07:11:59Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。