論文の概要: HCM: Hardware-Aware Complexity Metric for Neural Network Architectures
- arxiv url: http://arxiv.org/abs/2004.08906v2
- Date: Sun, 26 Apr 2020 12:56:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-12 00:41:37.999947
- Title: HCM: Hardware-Aware Complexity Metric for Neural Network Architectures
- Title（参考訳）: HCM: ニューラルネットワークアーキテクチャのためのハードウェア対応複雑度メトリクス
- Authors: Alex Karbachevsky, Chaim Baskin, Evgenii Zheltonozhskii, Yevgeny
Yermolin, Freddy Gabbay, Alex M. Bronstein, Avi Mendelson
- Abstract要約: 本稿では,ニューラルネットワークアーキテクチャのシステムデザイナを支援することを目的とした,ハードウェア対応の複雑性指標を提案する。
提案手法は,資源制限されたデバイス上でのニューラルネットワークモデルの設計代替案の評価にどのように役立つかを示す。
- 参考スコア（独自算出の注目度）: 6.556553154231475
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Convolutional Neural Networks (CNNs) have become common in many fields
including computer vision, speech recognition, and natural language processing.
Although CNN hardware accelerators are already included as part of many SoC
architectures, the task of achieving high accuracy on resource-restricted
devices is still considered challenging, mainly due to the vast number of
design parameters that need to be balanced to achieve an efficient solution.
Quantization techniques, when applied to the network parameters, lead to a
reduction of power and area and may also change the ratio between communication
and computation. As a result, some algorithmic solutions may suffer from lack
of memory bandwidth or computational resources and fail to achieve the expected
performance due to hardware constraints. Thus, the system designer and the
micro-architect need to understand at early development stages the impact of
their high-level decisions (e.g., the architecture of the CNN and the amount of
bits used to represent its parameters) on the final product (e.g., the expected
power saving, area, and accuracy). Unfortunately, existing tools fall short of
supporting such decisions.
This paper introduces a hardware-aware complexity metric that aims to assist
the system designer of the neural network architectures, through the entire
project lifetime (especially at its early stages) by predicting the impact of
architectural and micro-architectural decisions on the final product. We
demonstrate how the proposed metric can help evaluate different design
alternatives of neural network models on resource-restricted devices such as
real-time embedded systems, and to avoid making design mistakes at early
stages.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、コンピュータビジョン、音声認識、自然言語処理など、多くの分野で一般的になっている。
CNNハードウェアアクセラレータは、既に多くのSoCアーキテクチャの一部として含まれているが、リソース制限されたデバイスで高い精度を達成するというタスクは、主に効率的なソリューションを達成するためにバランスをとる必要のある設計パラメータが多数あるため、依然として難しいと考えられている。
量子化技術は、ネットワークパラメータに適用すると、電力と面積の削減につながり、通信と計算の比率も変化する可能性がある。
結果として、いくつかのアルゴリズム的解法はメモリ帯域幅や計算資源の不足に悩まされ、ハードウェアの制約により期待された性能を達成できなかった。
したがって、システムデザイナとマイクロアーキテクチャーは、開発初期段階において、最終製品(例えば、期待される省電力、面積、精度)における彼らの高いレベルの決定(例えば、CNNのアーキテクチャと、そのパラメータを表すために使用されるビットの量)の影響を理解する必要がある。
残念ながら、既存のツールはそのような決定を支持できない。
本稿では,ニューラルネットワークアーキテクチャのシステムデザイナが,最終製品に対するアーキテクチャおよびマイクロアーキテクチャ決定の影響を予測し,プロジェクトライフサイクル全体(特に初期段階)を通じて支援することを目的とした,ハードウェア対応の複雑性メトリクスを紹介する。
提案手法は、リアルタイム組み込みシステムなどのリソース制限されたデバイス上でのニューラルネットワークモデルの設計代替案の評価にどのように役立つかを示し、初期の設計ミスを避ける。
関連論文リスト
- Fault-tolerant resource estimation using graph-state compilation on a modular superconducting architecture [30.01663013636363]
フォールトトレラント量子コンピュータ(FTQC)の開発は、量子コンピューティングコミュニティ内で注目を集めている。
本稿では、特定の量子アルゴリズムの実行に必要な物理リソースを推定するリソース推定フレームワークとソフトウェアツールを提案する。
このツールは、ユーティリティスケールに近づくと、これらのアルゴリズムのサイズ、消費電力、実行時間を予測できる。
論文 参考訳（メタデータ） (2024-06-10T04:30:48Z) - A Proper Orthogonal Decomposition approach for parameters reduction of
Single Shot Detector networks [0.0]
本稿では,古典的モデルオーダー削減手法であるProper Orthogonal Decompositionに基づく次元削減フレームワークを提案する。
我々は、PASCAL VOCデータセットを用いてSSD300アーキテクチャにそのようなフレームワークを適用し、ネットワーク次元の削減と、転送学習コンテキストにおけるネットワークの微調整における顕著な高速化を実証した。
論文 参考訳（メタデータ） (2022-07-27T14:43:14Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - ISyNet: Convolutional Neural Networks design for AI accelerator [0.0]
現在の最先端アーキテクチャは、モデル複雑さを考慮して、ニューラルアーキテクチャサーチ(NAS)によって発見されている。
本稿では,ニューラルネットワーク探索空間のハードウェア効率の指標として,行列効率測定(MEM),ハードウェア効率の高い演算からなる探索空間,レイテンシを考慮したスケーリング手法を提案する。
我々は、ImageNet上のNPUデバイスの設計アーキテクチャと、下流の分類および検出タスクの一般化能力の利点を示す。
論文 参考訳（メタデータ） (2021-09-04T20:57:05Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳（メタデータ） (2021-06-07T11:37:03Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。
本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
論文 参考訳（メタデータ） (2020-08-24T09:49:19Z) - Multi-Objective Optimization for Size and Resilience of Spiking Neural
Networks [0.9449650062296823]
シリコンにおけるスパイキングニューラルネットワーク(SNN)モデル
スパイキングニューラルネットワークを2つのニューロモルフィックアーキテクチャの実装に適用し,そのサイズを小さくすることを目的とした。
本稿では,SNNのサイズとレジリエンスを最適化する多目的フィットネス機能を提案する。
論文 参考訳（メタデータ） (2020-02-04T16:58:25Z) - Lightweight Residual Densely Connected Convolutional Neural Network [18.310331378001397]
畳み込みニューラルネットワークの深い監督, 効率的な勾配流, 特徴再利用能力を保証するために, 軽量な高密度連結ブロックを提案する。
提案手法は,特別なハードウェア・ソフトウェア機器を使わずに,トレーニングと推論のコストを低減させる。
論文 参考訳（メタデータ） (2020-01-02T17:15:32Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳（メタデータ） (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。