論文の概要: Exposing Hardware Building Blocks to Machine Learning Frameworks
- arxiv url: http://arxiv.org/abs/2004.05898v1
- Date: Fri, 10 Apr 2020 14:26:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 20:16:59.623354
- Title: Exposing Hardware Building Blocks to Machine Learning Frameworks
- Title（参考訳）: ハードウェアビルディングブロックを機械学習フレームワークに公開する
- Authors: Yash Akhauri
- Abstract要約: 我々は、そのようなニューロンをユニークな関数として補完するトポロジーを設計する方法に焦点をあてる。
我々は、カスタムの空間性と量子化によるニューラルネットワークのトレーニングを支援するライブラリを開発する。
- 参考スコア（独自算出の注目度）: 4.56877715768796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There are a plethora of applications that demand high throughput and low
latency algorithms leveraging machine learning methods. This need for real time
processing can be seen in industries ranging from developing neural network
based pre-distortors for enhanced mobile broadband to designing FPGA-based
triggers in major scientific efforts by CERN for particle physics. In this
thesis, we explore how niche domains can benefit vastly if we look at neurons
as a unique boolean function of the form $f:B^{I} \rightarrow B^{O}$, where $B
= \{0,1\}$. We focus on how to design topologies that complement such a view of
neurons, how to automate such a strategy of neural network design, and
inference of such networks on Xilinx FPGAs. Major hardware borne constraints
arise when designing topologies that view neurons as unique boolean functions.
Fundamentally, realizing such topologies on hardware asserts a strict limit on
the 'fan-in' bits of a neuron due to the doubling of permutations possible with
every increment in input bit-length. We address this limit by exploring
different methods of implementing sparsity and explore activation quantization.
Further, we develop a library that supports training a neural network with
custom sparsity and quantization. This library also supports conversion of
trained Sparse Quantized networks from PyTorch to VERILOG code which is then
synthesized using Vivado, all of which is part of the LogicNet tool-flow. To
aid faster prototyping, we also support calculation of the worst-case hardware
cost of any given topology. We hope that our insights into the behavior of
extremely sparse quantized neural networks are of use to the research community
and by extension allow people to use the LogicNet design flow to deploy highly
efficient neural networks.
- Abstract（参考訳）: 機械学習手法を利用した高いスループットと低レイテンシのアルゴリズムを必要とするアプリケーションは数多く存在する。
このリアルタイム処理の必要性は、ニューラルネットワークベースのモバイルブロードバンド拡張のためのプレディストータの開発から、CERNによる粒子物理学のための主要な科学的取り組みにおけるFPGAベースのトリガの設計まで、さまざまな産業で見ることができる。
この論文では、ニューロンを$f:b^{i} \rightarrow b^{o}$という形式で、ここで$b = \{0,1\}$という独特のブール関数と見なすと、ニッチな領域がいかに大きな利益をもたらすかを探求する。
我々は、ニューロンのこのようなビューを補完するトポロジを設計する方法、ニューラルネットワーク設計のこのような戦略を自動化する方法、およびXilinx FPGA上でのそのようなネットワークの推論に焦点を当てる。
主要なハードウェア上の制約は、ニューロンをユニークなブール関数と見なすトポロジーを設計する際に生じる。
基本的に、ハードウェア上でこのようなトポロジを実現することは、入力ビット長のインクリメントごとに可能な順列が倍増するため、ニューロンの「ファンイン」ビットに厳格な制限を課す。
この限界に対処するために、スパーシティを実装し、アクティベーション量子化を探求する様々な方法を模索する。
さらに,カスタムスパーシティと量子化を用いたニューラルネットワークのトレーニングを支援するライブラリを開発した。
このライブラリはまた、トレーニング済みのスパース量子ネットワークをPyTorchからVERILOGコードに変換し、Vivadoを使って合成する。
より高速なプロトタイピングを支援するため、任意のトポロジにおける最悪のハードウェアコストの計算もサポートする。
私たちは、非常に希少な量子化されたニューラルネットワークの動作に対する我々の洞察が研究コミュニティに有用であることを望んでおり、拡張によって、logicnet設計フローを使用して、高度に効率的なニューラルネットワークを展開できることを期待しています。
関連論文リスト
- Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - Predictive Coding: Towards a Future of Deep Learning beyond
Backpropagation? [41.58529335439799]
ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。
最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。
等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-02-18T22:57:03Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - E3NE: An End-to-End Framework for Accelerating Spiking Neural Networks
with Emerging Neural Encoding on FPGAs [6.047137174639418]
エンドツーエンドフレームワークのE3NEはFPGAのための効率的なSNN推論ロジックを生成する。
E3NEはハードウェアリソースの50%未満を消費し、20%の電力を消費する一方で、レイテンシを桁違いに低減する。
論文 参考訳（メタデータ） (2021-11-19T04:01:19Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳（メタデータ） (2021-07-19T23:41:03Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - When Machine Learning Meets Quantum Computers: A Case Study [29.551615987978046]
本稿では,量子プロセッサ上でのニューラルネットワークアクセラレーションのエンドツーエンド実装を実証するケーススタディを行う。
標準かつ広く使用されているmnistデータセットを用いて,多層パーセプトロンを用いて画像分類を行う。
この研究は、量子プロセッサ上の訓練されたニューラルネットワークの推論フェーズの加速を目標とする。
論文 参考訳（メタデータ） (2020-12-18T17:06:11Z) - LogicNets: Co-Designed Neural Networks and Circuits for
Extreme-Throughput Applications [6.9276012494882835]
本稿では,高効率FPGA実装に直接マップするニューラルネットワークトポロジを設計する新しい手法を提案する。
その結果,低ビット化と疎結合化の両立により,論理深度が小さく,LUTコストが低い高速回路が実現された。
論文 参考訳（メタデータ） (2020-04-06T22:15:41Z) - Lossless Compression of Deep Neural Networks [17.753357839478575]
ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。
モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。
生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-01-01T15:04:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。