論文の概要: Hardware and Software Optimizations for Accelerating Deep Neural
Networks: Survey of Current Trends, Challenges, and the Road Ahead
- arxiv url: http://arxiv.org/abs/2012.11233v1
- Date: Mon, 21 Dec 2020 10:27:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 13:31:26.272556
- Title: Hardware and Software Optimizations for Accelerating Deep Neural
Networks: Survey of Current Trends, Challenges, and the Road Ahead
- Title（参考訳）: ディープニューラルネットワークの高速化のためのハードウェアとソフトウェア最適化 - 最新動向, 課題, 路頭調査
- Authors: Maurizio Capra, Beatrice Bussolino, Alberto Marchisio, Guido Masera,
Maurizio Martina, Muhammad Shafique
- Abstract要約: 本稿では,deep neural network (dnn) のような脳にインスパイアされた2つのモデルの重要な特性について紹介する。
DLモデルの単一推論は数十億の乗算および累積演算を必要とする可能性があるため、DLは非常に計算量とエネルギーを消費する。
- 参考スコア（独自算出の注目度）: 14.313423044185583
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Currently, Machine Learning (ML) is becoming ubiquitous in everyday life.
Deep Learning (DL) is already present in many applications ranging from
computer vision for medicine to autonomous driving of modern cars as well as
other sectors in security, healthcare, and finance. However, to achieve
impressive performance, these algorithms employ very deep networks, requiring a
significant computational power, both during the training and inference time. A
single inference of a DL model may require billions of multiply-and-accumulated
operations, making the DL extremely compute- and energy-hungry. In a scenario
where several sophisticated algorithms need to be executed with limited energy
and low latency, the need for cost-effective hardware platforms capable of
implementing energy-efficient DL execution arises. This paper first introduces
the key properties of two brain-inspired models like Deep Neural Network (DNN),
and Spiking Neural Network (SNN), and then analyzes techniques to produce
efficient and high-performance designs. This work summarizes and compares the
works for four leading platforms for the execution of algorithms such as CPU,
GPU, FPGA and ASIC describing the main solutions of the state-of-the-art,
giving much prominence to the last two solutions since they offer greater
design flexibility and bear the potential of high energy-efficiency, especially
for the inference process. In addition to hardware solutions, this paper
discusses some of the important security issues that these DNN and SNN models
may have during their execution, and offers a comprehensive section on
benchmarking, explaining how to assess the quality of different networks and
hardware systems designed for them.
- Abstract（参考訳）: 現在、機械学習(ML)は日常的に普及している。
ディープ・ラーニング(DL)は、医療のためのコンピュータビジョンから現代の自動車の自律運転、セキュリティ、医療、金融など多くの分野にすでに存在している。
しかし、優れた性能を達成するために、これらのアルゴリズムは非常に深いネットワークを使用し、トレーニング時間と推論時間の両方でかなりの計算能力を必要とする。
DLモデルの単一推論は数十億の乗算および累積演算を必要とする可能性があるため、DLは非常に計算量とエネルギーを消費する。
限られたエネルギーと低レイテンシで複数の高度なアルゴリズムを実行する必要があるシナリオでは、エネルギー効率の良いDL実行を実装できるコスト効率のよいハードウェアプラットフォームの必要性が生じる。
本稿では,まず,deep neural network (dnn) と spiking neural network (snn) という2つの脳にインスパイアされたモデルの重要特性について紹介する。
この研究は、cpu、gpu、fpga、asicといったアルゴリズムの実行のための4つの主要なプラットフォームのための作業の要約と比較を行い、最先端のソリューションを記述する。
本稿では、ハードウェアソリューションに加えて、これらのDNNおよびSNNモデルが実行中に持つ重要なセキュリティ問題についても論じ、ベンチマークの包括的なセクションを提供し、異なるネットワークやハードウェアシステムの品質を評価する方法について説明する。
関連論文リスト
- DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。
我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。
拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-11T06:31:03Z) - Quantization-aware Neural Architectural Search for Intrusion Detection [5.010685611319813]
本稿では、最先端NNの1000倍の規模を持つ量子化ニューラルネットワーク(NN)モデルを自動的に訓練し、進化させる設計手法を提案する。
FPGAにデプロイする際にこのネットワークが利用するLUTの数は2.3倍から8.5倍と小さく、性能は以前の作業に匹敵する。
論文 参考訳（メタデータ） (2023-11-07T18:35:29Z) - Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。
ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。
新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
論文 参考訳（メタデータ） (2023-08-27T03:55:28Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - From DNNs to GANs: Review of efficient hardware architectures for deep
learning [0.0]
ニューラルネットワークとディープラーニングが現在の研究パラダイムに影響を与え始めている。
DSPプロセッサは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成的敵ネットワーク操作を実行することができない。
異なるアルゴリズムは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成対向ネットワークにおける高速なパフォーマンスに適合するDSPプロセッサを設計するために適合している。
論文 参考訳（メタデータ） (2021-06-06T13:23:06Z) - Learning on Hardware: A Tutorial on Neural Network Accelerators and
Co-Processors [0.0]
ディープニューラルネットワーク(dnn)は、複雑なタスクを解決可能にするために、多くのパラメータを考慮に入れることができるという利点がある。
コンピュータビジョンや音声認識では、一般的なアルゴリズムよりも精度が高く、タスクによっては人間の専門家よりも精度が高いものもあります。
近年のDNNの進展に伴い、疾患の診断や自動運転など、多くの応用分野が活用されています。
論文 参考訳（メタデータ） (2021-04-19T12:50:27Z) - Real-time Multi-Task Diffractive Deep Neural Networks via
Hardware-Software Co-design [1.6066483376871004]
本研究は,d$2$nnsでロバストかつノイズ耐性のあるマルチタスク学習を実現する,新しいハードウェアソフトウェア共同設計手法を提案する。
私たちの実験結果は、汎用性とハードウェア効率の大幅な改善を示し、提案されたマルチタスクD$2$NNアーキテクチャの堅牢性を実証します。
論文 参考訳（メタデータ） (2020-12-16T12:29:54Z) - ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。
エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。
ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
論文 参考訳（メタデータ） (2020-10-24T05:09:14Z) - HAPI: Hardware-Aware Progressive Inference [18.214367595727037]
畳み込みニューラルネットワーク(CNN)は最近、AIタスクの多様性における最先端技術となっている。
その人気にもかかわらず、CNN推論は依然として高い計算コストがかかる。
本研究は,ハイパフォーマンス・アーリーエグジット・ネットワークを創出するための新しい手法であるHAPIを提案する。
論文 参考訳（メタデータ） (2020-08-10T09:55:18Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。