論文の概要: From DNNs to GANs: Review of efficient hardware architectures for deep
learning
- arxiv url: http://arxiv.org/abs/2107.00092v1
- Date: Sun, 6 Jun 2021 13:23:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-04 19:36:14.798957
- Title: From DNNs to GANs: Review of efficient hardware architectures for deep
learning
- Title（参考訳）: DNNからGANへ:ディープラーニングのための効率的なハードウェアアーキテクチャのレビュー
- Authors: Gaurab Bhattacharya
- Abstract要約: ニューラルネットワークとディープラーニングが現在の研究パラダイムに影響を与え始めている。
DSPプロセッサは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成的敵ネットワーク操作を実行することができない。
異なるアルゴリズムは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成対向ネットワークにおける高速なパフォーマンスに適合するDSPプロセッサを設計するために適合している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In recent times, the trend in very large scale integration (VLSI) industry is
multi-dimensional, for example, reduction of energy consumption, occupancy of
less space, precise result, less power dissipation, faster response. To meet
these needs, the hardware architecture should be reliable and robust to these
problems. Recently, neural network and deep learning has been started to impact
the present research paradigm significantly which consists of parameters in the
order of millions, nonlinear function for activation, convolutional operation
for feature extraction, regression for classification, generative adversarial
networks. These operations involve huge calculation and memory overhead.
Presently available DSP processors are incapable of performing these operations
and they mostly face the problems, for example, memory overhead, performance
drop and compromised accuracy. Moreover, if a huge silicon area is powered to
accelerate the operation using parallel computation, the ICs will be having
significant chance of burning out due to the considerable generation of heat.
Hence, novel dark silicon constraint is developed to reduce the heat
dissipation without sacrificing the accuracy. Similarly, different algorithms
have been adapted to design a DSP processor compatible for fast performance in
neural network, activation function, convolutional neural network and
generative adversarial network. In this review, we illustrate the recent
developments in hardware for accelerating the efficient implementation of deep
learning networks with enhanced performance. The techniques investigated in
this review are expected to direct future research challenges of hardware
optimization for high-performance computations.
- Abstract（参考訳）: 近年、超大規模集積(VLSI)産業のトレンドは多次元的であり、例えば、エネルギー消費の削減、少ない空間の占有率、正確な結果、消費電力の減少、応答の高速化などである。
これらのニーズを満たすため、ハードウェアアーキテクチャはこれらの問題に対して信頼性と堅牢性を持つべきである。
近年, ニューラルネットワークとディープラーニングが, 数百万の順序のパラメータ, 活性化のための非線形関数, 特徴抽出のための畳み込み操作, 分類のための回帰, 生成的敵ネットワークからなる研究パラダイムに大きく影響し始めている。
これらの操作には膨大な計算とメモリオーバーヘッドが伴う。
現在利用可能なDSPプロセッサはこれらの操作を実行できないため、主にメモリオーバーヘッド、性能低下、精度の低下といった問題に直面している。
さらに、巨大なシリコン領域が並列計算を用いて動作を加速するために電力を供給された場合、ICは相当な熱発生のために燃え尽きる可能性が高い。
したがって、新しいダークシリコン制約が開発され、精度を犠牲にすることなく放熱を減らすことができる。
同様に、異なるアルゴリズムが、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成的敵ネットワークにおける高速なパフォーマンスに適合するDSPプロセッサの設計に適合している。
本稿では,性能を向上したディープラーニングネットワークの効率的な実装を高速化するハードウェアの開発について述べる。
本稿では,高性能計算のためのハードウェア最適化に関する今後の研究課題について述べる。
関連論文リスト
- Recent Advances in Scalable Energy-Efficient and Trustworthy Spiking
Neural networks: from Algorithms to Technology [11.479629320025673]
スパイキングニューラルネットワーク(SNN)は、幅広い信号処理アプリケーションのために、ディープニューラルネットワークの魅力的な代替品となっている。
我々は、低レイテンシとエネルギー効率のSNNを効率的に訓練し、拡張するためのアルゴリズムと最適化の進歩について述べる。
デプロイ可能なSNNシステム構築における研究の今後の可能性について論じる。
論文 参考訳（メタデータ） (2023-12-02T19:47:00Z) - A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。
ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。
結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文 参考訳（メタデータ） (2023-08-28T14:19:13Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳（メタデータ） (2023-06-14T01:24:42Z) - Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。
この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
論文 参考訳（メタデータ） (2022-12-29T15:10:59Z) - Fast Exploration of the Impact of Precision Reduction on Spiking Neural
Networks [63.614519238823206]
ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。
我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
論文 参考訳（メタデータ） (2022-11-22T15:08:05Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳（メタデータ） (2021-03-15T12:54:26Z) - DANCE: Differentiable Accelerator/Network Co-Exploration [8.540518473228078]
この研究は、ハードウェアアクセラレーターとネットワークアーキテクチャ設計の共同探索に向けた異なるアプローチを示す。
ハードウェア評価ソフトウェアをニューラルネットワークでモデル化することにより、アクセラレーションアーキテクチャとハードウェアメトリクスの関係は微分可能となる。
提案手法は,既存手法と比較して,精度とハードウェアコストの指標を向上しつつ,比較的短い時間で共同探索を行う。
論文 参考訳（メタデータ） (2020-09-14T07:43:27Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z) - A Survey on Impact of Transient Faults on BNN Inference Accelerators [0.9667631210393929]
ビッグデータブームにより、非常に大きなデータセットへのアクセスと分析が容易になります。
ディープラーニングモデルは、計算能力と極めて高いメモリアクセスを必要とする。
本研究では,ソフトエラーが独自の深層学習アルゴリズムに与える影響が画像の劇的な誤分類を引き起こす可能性を実証した。
論文 参考訳（メタデータ） (2020-04-10T16:15:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。