論文の概要: A C Code Generator for Fast Inference and Simple Deployment of
Convolutional Neural Networks on Resource Constrained Systems
- arxiv url: http://arxiv.org/abs/2001.05572v1
- Date: Tue, 14 Jan 2020 09:46:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 13:26:17.174845
- Title: A C Code Generator for Fast Inference and Simple Deployment of
Convolutional Neural Networks on Resource Constrained Systems
- Title（参考訳）: 資源制約システム上での畳み込みニューラルネットワークの高速推論と簡単な展開のためのCコード生成器
- Authors: Oliver Urbann, Simon Camphausen, Arne Moos, Ingmar Schwarz, S\"oren
Kerner, Maximilian Otten
- Abstract要約: 本稿では、訓練されたCNNから生成するニューラルネットワーク生成器(NNCG)に、単一関数で推論をカプセル化するプレーンなCコードファイルを提案する。
既存のプロジェクトに簡単に組み込むことができ、依存関係の欠如のため、通常はクロスコンパイルが可能である。
- 参考スコア（独自算出の注目度）: 0.32622301272834514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inference of Convolutional Neural Networks in time critical applications
usually requires a GPU. In robotics or embedded devices these are often not
available due to energy, space and cost constraints. Furthermore, installation
of a deep learning framework or even a native compiler on the target platform
is not possible. This paper presents a neural network code generator (NNCG)
that generates from a trained CNN a plain ANSI C code file that encapsulates
the inference in single a function. It can easily be included in existing
projects and due to lack of dependencies, cross compilation is usually
possible. Additionally, the code generation is optimized based on the known
trained CNN and target platform following four design principles. The system is
evaluated utilizing small CNN designed for this application. Compared to
TensorFlow XLA and Glow speed-ups of up to 11.81 can be shown and even GPUs are
outperformed regarding latency.
- Abstract（参考訳）: 時間クリティカルなアプリケーションにおける畳み込みニューラルネットワークの推論は通常GPUを必要とする。
ロボティクスや組み込みデバイスでは、エネルギー、空間、コストの制約のために利用できないことが多い。
さらに、ディープラーニングフレームワークやネイティブコンパイラをターゲットプラットフォームにインストールすることも不可能である。
本稿では、訓練されたCNNから1つの関数で推論をカプセル化するプレーンなANSI Cコードファイルを生成するニューラルネットワークコード生成器(NNCG)を提案する。
既存のプロジェクトに簡単に組み込むことができ、依存関係の欠如のため、通常はクロスコンパイルが可能である。
さらに、コード生成は、既知のトレーニング済みcnnとターゲットプラットフォームに基づいて、4つの設計原則に従って最適化される。
このアプリケーション用に設計された小型CNNを用いて評価を行う。
TensorFlow XLAと比較すると、最大11.81のGlowスピードアップが示され、GPUでさえレイテンシに関してパフォーマンスが向上している。
関連論文リスト
- Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。
小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。
数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
論文 参考訳（メタデータ） (2022-01-16T07:22:47Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Generalizable Cross-Graph Embedding for GNN-based Congestion Prediction [22.974348682859322]
我々は,ノード機能の品質を高めるために,与えられたネットリストの埋め込みを直接学習できるフレームワークを提案する。
ネットリスト上に学習した埋め込みとGNNを組み合わせることで、予測性能を改善し、新しい回路ラインに一般化し、トレーニングの効率化を実現し、実行時に90 %以上節約できる可能性がある。
論文 参考訳（メタデータ） (2021-11-10T20:56:29Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳（メタデータ） (2021-02-08T05:55:47Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Brief Announcement: On the Limits of Parallelizing Convolutional Neural
Networks on GPUs [0.45740558095423056]
深層ニューラルネットワーク(DNN)のトレーニングは、大量のパラメータを学習しなければならないため、GPU上でも時間を要するプロセスである。
我々は、トレーニング時間を短縮するために、最先端の非線形ネットワークにおいて、このリッチ並列性を活用する必要性と潜在的な利点を論じる。
論文 参考訳（メタデータ） (2020-05-28T07:51:22Z) - A scalable and efficient convolutional neural network accelerator using
HLS for a System on Chip design [0.0]
提示されたCNNAは、ハードウェアアクセラレーションに高レベル合成(HLS)とSystemCを使用するスケーラブルなアーキテクチャを備えている。
Pythonからエクスポートされた畳み込みニューラルネットワークを高速化し、畳み込み、最大プール、完全に接続されたレイヤの組み合わせをサポートする。
平均消費電力は2.63Wで、効率は6.0GOPS/Wである。
論文 参考訳（メタデータ） (2020-04-27T18:12:22Z) - Exposing Hardware Building Blocks to Machine Learning Frameworks [4.56877715768796]
我々は、そのようなニューロンをユニークな関数として補完するトポロジーを設計する方法に焦点をあてる。
我々は、カスタムの空間性と量子化によるニューラルネットワークのトレーニングを支援するライブラリを開発する。
論文 参考訳（メタデータ） (2020-04-10T14:26:00Z) - CNN2Gate: Toward Designing a General Framework for Implementation of
Convolutional Neural Networks on FPGA [0.3655021726150368]
本稿では,FPGAターゲットに対するCNNモデルのコンパイルを支援する統合フレームワークを提案する。
CNN2Gateは商用ベンダーが提供するFPGAのOpenCL合成ワークフローを利用する。
本稿では,Intel FPGAプラットフォーム上でのAlexNetとVGG-16の自動合成と設計空間探索の結果について報告する。
論文 参考訳（メタデータ） (2020-04-06T01:57:53Z) - Neural Network Compression Framework for fast model inference [59.65531492759006]
我々は、ニューラルネットワーク圧縮フレームワーク(NNCF)と呼ばれる、微調整によるニューラルネットワーク圧縮のための新しいフレームワークを提案する。
様々なネットワーク圧縮手法の最近の進歩を活用し、空間性、量子化、双項化などのいくつかの実装を行っている。
フレームワークは、トレーニングサンプル内に提供され、あるいは既存のトレーニングコードにシームレスに統合可能なスタンドアロンパッケージとして使用することができる。
論文 参考訳（メタデータ） (2020-02-20T11:24:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。