論文の概要: Accelerating ODE-Based Neural Networks on Low-Cost FPGAs
- arxiv url: http://arxiv.org/abs/2012.15465v3
- Date: Mon, 29 Mar 2021 16:42:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-17 17:24:44.072478
- Title: Accelerating ODE-Based Neural Networks on Low-Cost FPGAs
- Title(参考訳): 低コストFPGA上でのODEベースニューラルネットワークの高速化
- Authors: Hirohisa Watanabe, Hiroki Matsutani
- Abstract要約: ODENetは、ResNetの積み重ね構造を通常の微分方程式解決器で実装したディープニューラルネットワークアーキテクチャである。
適切な解法を選択することで、パラメータの数を減らし、精度と性能のバランスを取ることができる。
リソース制限エッジデバイスで同じパラメータ数を維持しながら、精度を向上させることも可能です。
- 参考スコア(独自算出の注目度): 3.4795226670772745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: ODENet is a deep neural network architecture in which a stacking structure of
ResNet is implemented with an ordinary differential equation (ODE) solver. It
can reduce the number of parameters and strike a balance between accuracy and
performance by selecting a proper solver. It is also possible to improve the
accuracy while keeping the same number of parameters on resource-limited edge
devices. In this paper, using Euler method as an ODE solver, a part of ODENet
is implemented as a dedicated logic on a low-cost FPGA (Field-Programmable Gate
Array) board, such as PYNQ-Z2 board. As ODENet variants, reduced ODENets
(rODENets) each of which heavily uses a part of ODENet layers and
reduces/eliminates some layers differently are proposed and analyzed for
low-cost FPGA implementation. They are evaluated in terms of parameter size,
accuracy, execution time, and resource utilization on the FPGA. The results
show that an overall execution time of an rODENet variant is improved by up to
2.66 times compared to a pure software execution while keeping a comparable
accuracy to the original ODENet.
- Abstract(参考訳): ODENetは、ResNetの積み重ね構造を通常の微分方程式(ODE)解決器で実装したディープニューラルネットワークアーキテクチャである。
適切な解法を選択することで、パラメータの数を減らし、精度と性能のバランスを取ることができる。
また、リソース制限エッジデバイス上で同じ数のパラメータを保持しながら精度を向上させることもできる。
本稿では、Euler法をODEソルバとして使用し、PYNQ-Z2基板などの低コストFPGA基板上でODENetの一部を専用ロジックとして実装する。
ODENet の変種として,ODENet の層の一部を多用し,異なる層を多用する ODENet (rODENets) の削減が提案され,低コストのFPGA 実装のために解析された。
これらはパラメータサイズ、精度、実行時間、fpga上のリソース使用率の観点から評価される。
その結果、RODENetの変種全体の実行時間は、純粋なソフトウェア実行に比べて最大2.66倍改善され、元のODENetに匹敵する精度を維持していることがわかった。
関連論文リスト
- Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。
3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。
これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
論文 参考訳(メタデータ) (2023-08-30T10:57:41Z) - Neural Generalized Ordinary Differential Equations with Layer-varying
Parameters [1.3691539554014036]
層状ニューラルGODEは標準ニューラルGODEよりも柔軟で汎用的であることを示す。
Neural-GODEは、予測精度でResNetsと互換性を持って実行しながら、計算とメモリの利点を享受する。
論文 参考訳(メタデータ) (2022-09-21T20:02:28Z) - Neural Basis Functions for Accelerating Solutions to High Mach Euler
Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。
ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。
これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文 参考訳(メタデータ) (2022-08-02T18:27:13Z) - Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time
Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。
提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-11-22T23:53:14Z) - A Low-Cost Neural ODE with Depthwise Separable Convolution for Edge
Domain Adaptation on FPGAs [2.620638110026557]
ResNetは、多くのレイヤとパラメータを積み重ねた従来のディープニューラルネットワークモデルの1つである。
本稿では,ニューラルODEとDSCの組み合わせであるdsODENetをFPGA向けに設計,実装する。
その結果、ドメイン適応精度の点で、dsODENetはベースラインのNeural ODE実装に匹敵するか、わずかに優れていることが示された。
論文 参考訳(メタデータ) (2021-07-27T13:44:13Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2021-06-18T03:11:15Z) - NullaNet Tiny: Ultra-low-latency DNN Inference Through Fixed-function
Combinational Logic [4.119948826527649]
フィールドプログラマブルゲートアレイ(FPGA)ベースのアクセラレータは、グラフィックス処理ユニット/中央処理ユニットベースのプラットフォームを置き換える深刻な競争相手として注目を集めています。
本稿では,資源とエネルギー効率,超低遅延FPGAベースニューラルネットワークアクセラレータ構築のためのフレームワークであるNullaNet Tinyを提案する。
論文 参考訳(メタデータ) (2021-04-07T00:16:39Z) - dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。
我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
論文 参考訳(メタデータ) (2021-03-15T19:14:41Z) - Accuracy and Architecture Studies of Residual Neural Network solving
Ordinary Differential Equations [0.0]
通常の微分方程式を解くために残存ニューラルネットワーク(ResNet)を利用することを検討する。
本稿では、Euler, Runge-Kutta2 および Runge-Kutta4 の有限差分法を適用し、ResNet を訓練する3つのターゲットを生成する。
よく訓練されたResNetは、対応する1ステップの有限差分法と同等に振る舞う。
論文 参考訳(メタデータ) (2021-01-10T17:34:10Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳(メタデータ) (2020-07-14T09:07:29Z) - Compressing deep neural networks on FPGAs to binary and ternary
precision with HLS4ML [13.325670094073383]
本稿では, hls4mlライブラリにおける2次ニューラルネットワークと3次ニューラルネットワークの実装について述べる。
モデル精度と資源消費のトレードオフについて論じる。
二分法と三分法の実装は、FPGAリソースを劇的に減らしながら高い精度の実装と類似した性能を持つ。
論文 参考訳(メタデータ) (2020-03-11T10:46:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。