論文の概要: LogicNets: Co-Designed Neural Networks and Circuits for
Extreme-Throughput Applications
- arxiv url: http://arxiv.org/abs/2004.03021v1
- Date: Mon, 6 Apr 2020 22:15:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 07:38:48.007784
- Title: LogicNets: Co-Designed Neural Networks and Circuits for
Extreme-Throughput Applications
- Title（参考訳）: logicnets:extreme-throughputアプリケーションのためのニューラルネットワークと回路
- Authors: Yaman Umuroglu, Yash Akhauri, Nicholas J. Fraser, Michaela Blott
- Abstract要約: 本稿では,高効率FPGA実装に直接マップするニューラルネットワークトポロジを設計する新しい手法を提案する。
その結果,低ビット化と疎結合化の両立により,論理深度が小さく,LUTコストが低い高速回路が実現された。
- 参考スコア（独自算出の注目度）: 6.9276012494882835
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deployment of deep neural networks for applications that require very high
throughput or extremely low latency is a severe computational challenge,
further exacerbated by inefficiencies in mapping the computation to hardware.
We present a novel method for designing neural network topologies that directly
map to a highly efficient FPGA implementation. By exploiting the equivalence of
artificial neurons with quantized inputs/outputs and truth tables, we can train
quantized neural networks that can be directly converted to a netlist of truth
tables, and subsequently deployed as a highly pipelinable, massively parallel
FPGA circuit. However, the neural network topology requires careful
consideration since the hardware cost of truth tables grows exponentially with
neuron fan-in. To obtain smaller networks where the whole netlist can be
placed-and-routed onto a single FPGA, we derive a fan-in driven hardware cost
model to guide topology design, and combine high sparsity with low-bit
activation quantization to limit the neuron fan-in. We evaluate our approach on
two tasks with very high intrinsic throughput requirements in high-energy
physics and network intrusion detection. We show that the combination of
sparsity and low-bit activation quantization results in high-speed circuits
with small logic depth and low LUT cost, demonstrating competitive accuracy
with less than 15 ns of inference latency and throughput in the hundreds of
millions of inferences per second.
- Abstract（参考訳）: 非常に高いスループットや非常に低レイテンシを必要とするアプリケーションのためのディープニューラルネットワークのデプロイは、厳しい計算上の課題であり、計算をハードウェアにマッピングする非効率性によってさらに悪化する。
本稿では,高効率FPGA実装に直接マップするニューラルネットワークトポロジを設計する新しい手法を提案する。
量子化された入力/出力と真理表による人工ニューロンの等価性を利用して、真理表のネットリストに直接変換できる量子化されたニューラルネットワークを訓練し、その後、高パイプ化可能で大規模に並列なFPGA回路として展開する。
しかし、真理表のハードウェアコストはニューロンのファンインとともに指数関数的に増加するため、ニューラルネットワークトポロジーは慎重に考慮する必要がある。
単一FPGA上にネットリスト全体を配置・縮小可能な小型ネットワークを実現するため,トポロジー設計をガイドするファンインハードウェアコストモデルを構築し,低ビットアクティベーション量子化と高空間を結合してニューロンのファンインを制限する。
我々は,高エネルギー物理とネットワーク侵入検出において,非常に高いスループット要求を持つ2つのタスクに対するアプローチを評価した。
低ビットのアクティベーション量子化とスパーシティの組み合わせは、ロジックの深さが小さく、lutコストが低い高速回路となり、毎秒数億回の推論で15 ns未満の推論レイテンシとスループットで競合精度を発揮できることを示した。
関連論文リスト
- Low-latency machine learning FPGA accelerator for multi-qubit-state discrimination [1.6773398825542363]
量子ビット状態を測定することは、量子コンピューティングにおいて基本的ながエラーを起こしやすい操作である。
ここでは、ニューラルネットワークをフィールドプログラマブルゲートアレイ(FPGA)上に展開するための統合的なアプローチを用いる。
マルチキュービット読み出しに完全接続型ニューラルネットワークアクセラレータを実装するのが有利であることを示す。
論文 参考訳（メタデータ） (2024-07-04T11:34:43Z) - NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [2.7086888205833968]
Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。
本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。
提案手法は,既知の遅延クリティカルタスク,ジェットサブストラクチャタグ,古典的コンピュータビジョンタスク,MNISTを用いた桁分類で検証する。
論文 参考訳（メタデータ） (2024-02-29T16:10:21Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Signal Detection in MIMO Systems with Hardware Imperfections: Message
Passing on Neural Networks [101.59367762974371]
本稿では,Multi-Input-multiple-output (MIMO)通信システムにおける信号検出について検討する。
パイロット信号が限られているディープニューラルネットワーク(DNN)のトレーニングは困難であり、実用化を妨げている。
我々は、ユニタリ近似メッセージパッシング(UAMP)アルゴリズムを利用して、効率的なメッセージパッシングに基づくベイズ信号検出器を設計する。
論文 参考訳（メタデータ） (2022-10-08T04:32:58Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳（メタデータ） (2021-07-19T23:41:03Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - A White Paper on Neural Network Quantization [20.542729144379223]
本稿では,量子化ノイズがネットワークの性能に与える影響を緩和する最新アルゴリズムを提案する。
我々は,ポストトレーニング量子化(PTQ)と量子化アウェア・トレーニング(QAT)の2つのアルゴリズムについて考察する。
論文 参考訳（メタデータ） (2021-06-15T17:12:42Z) - NullaNet Tiny: Ultra-low-latency DNN Inference Through Fixed-function
Combinational Logic [4.119948826527649]
フィールドプログラマブルゲートアレイ(FPGA)ベースのアクセラレータは、グラフィックス処理ユニット/中央処理ユニットベースのプラットフォームを置き換える深刻な競争相手として注目を集めています。
本稿では,資源とエネルギー効率,超低遅延FPGAベースニューラルネットワークアクセラレータ構築のためのフレームワークであるNullaNet Tinyを提案する。
論文 参考訳（メタデータ） (2021-04-07T00:16:39Z) - Exposing Hardware Building Blocks to Machine Learning Frameworks [4.56877715768796]
我々は、そのようなニューロンをユニークな関数として補完するトポロジーを設計する方法に焦点をあてる。
我々は、カスタムの空間性と量子化によるニューラルネットワークのトレーニングを支援するライブラリを開発する。
論文 参考訳（メタデータ） (2020-04-10T14:26:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。