論文の概要: CGRA4ML: A Framework to Implement Modern Neural Networks for Scientific Edge Computing
- arxiv url: http://arxiv.org/abs/2408.15561v1
- Date: Wed, 28 Aug 2024 06:24:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 17:03:09.242776
- Title: CGRA4ML: A Framework to Implement Modern Neural Networks for Scientific Edge Computing
- Title(参考訳): CGRA4ML:科学エッジコンピューティングのための最新のニューラルネットワークを実装するフレームワーク
- Authors: G Abarajithan, Zhenghua Ma, Zepeng Li, Shrideep Koparkar, Ravidu Munasinghe, Francesco Restuccia, Ryan Kastner,
- Abstract要約: CGRA4MLは、ニューラルネットワークモデルの複雑さと極端なパフォーマンス要件の間のギャップを埋めるために設計された、オープンソースのモジュラーフレームワークである。
HLS4MLとは異なり、CGRA4MLはSystemVerilog RTLを生成しており、ASICやFPGAの設計フローをターゲットにするのに適している。
CGRA4MLのPython API、SystemVerilogハードウェア、Tclツールフロー、Cランタイムの最小限のモジュラーインフラストラクチャは、統合と実験を容易にする。
- 参考スコア(独自算出の注目度): 9.386122875273204
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific edge computing increasingly relies on hardware-accelerated neural networks to implement complex, near-sensor processing at extremely high throughputs and low latencies. Existing frameworks like HLS4ML are effective for smaller models, but struggle with larger, modern neural networks due to their requirement of spatially implementing the neural network layers and storing all weights in on-chip memory. CGRA4ML is an open-source, modular framework designed to bridge the gap between neural network model complexity and extreme performance requirements. CGRA4ML extends the capabilities of HLS4ML by allowing off-chip data storage and supporting a broader range of neural network architectures, including models like ResNet, PointNet, and transformers. Unlike HLS4ML, CGRA4ML generates SystemVerilog RTL, making it more suitable for targeting ASIC and FPGA design flows. We demonstrate the effectiveness of our framework by implementing and scaling larger models that were previously unattainable with HLS4ML, showcasing its adaptability and efficiency in handling complex computations. CGRA4ML also introduces an extensive verification framework, with a generated runtime firmware that enables its integration into different SoC platforms. CGRA4ML's minimal and modular infrastructure of Python API, SystemVerilog hardware, Tcl toolflows, and C runtime, facilitates easy integration and experimentation, allowing scientists to focus on innovation rather than the intricacies of hardware design and optimization.
- Abstract(参考訳): 科学エッジコンピューティングは、非常に高いスループットと低レイテンシで複雑なニアセンサー処理を実装するために、ハードウェアアクセラレーションされたニューラルネットワークにますます依存している。
HLS4MLのような既存のフレームワークは、より小さなモデルには有効だが、ニューラルネットワーク層を空間的に実装し、すべての重みをオンチップメモリに格納する必要があるため、より大規模で現代的なニューラルネットワークに苦しむ。
CGRA4MLは、ニューラルネットワークモデルの複雑さと極端なパフォーマンス要件の間のギャップを埋めるために設計された、オープンソースのモジュラーフレームワークである。
CGRA4MLは、オフチップのデータストレージを可能にし、ResNet、PointNet、Transformerなどのモデルを含む幅広いニューラルネットワークアーキテクチャをサポートすることで、HLS4MLの機能を拡張する。
HLS4MLとは異なり、CGRA4MLはSystemVerilog RTLを生成しており、ASICやFPGAの設計フローをターゲットにするのに適している。
本研究では,これまでHLS4MLでは実現不可能であった大規模モデルを実装,拡張し,複雑な計算処理における適応性と効率性を示すことによって,フレームワークの有効性を示す。
CGRA4MLはまた、様々なSoCプラットフォームとの統合を可能にする、生成されたランタイムファームウェアを備えた広範な検証フレームワークも導入している。
CGRA4MLのPython API、SystemVerilogハードウェア、Tclツールフロー、Cランタイムの最小限のモジュラーインフラストラクチャは、統合と実験を容易にする。
関連論文リスト
- Spyx: A Library for Just-In-Time Compiled Optimization of Spiking Neural
Networks [0.08965418284317034]
Spiking Neural Networks(SNN)は、小さくて低消費電力なハードウェアフットプリントによるエネルギー効率の向上を提供する。
本稿では、JAXで設計された新しい軽量SNNシミュレーションおよび最適化ライブラリSpyxを紹介する。
論文 参考訳(メタデータ) (2024-02-29T09:46:44Z) - End-to-end codesign of Hessian-aware quantized neural networks for FPGAs
and ASICs [49.358119307844035]
我々は、共設計ニューラルネットワーク(NN)のトレーニングと実装のためのエンドツーエンドワークフローを開発する。
これにより、ハードウェアにおける効率的なNN実装が、非専門家に、単一のオープンソースワークフローでアクセスできるようになる。
大型ハドロン衝突型加速器(LHC)の40MHz衝突速度で動作しなければならないトリガー決定を含む粒子物理学アプリケーションにおけるワークフローを実演する。
シミュレーションLHC陽子-陽子衝突における高速粒子ジェット用混合精度NNを実装した。
論文 参考訳(メタデータ) (2023-04-13T18:00:01Z) - Tetra-AML: Automatic Machine Learning via Tensor Networks [0.0]
本稿では,ニューラルネットワーク検索とハイパーパラメータ最適化を自動化するTetra-AMLツールボックスを紹介する。
ツールボックスはまた、テンソルネットワークを使用した圧縮によって強化された、量子化とプルーニングによるモデル圧縮も提供する。
ここでは、コンピュータビジョンタスクにおけるニューラルネットワークの最適化のための統一ベンチマークを分析し、我々のアプローチの優れた性能を示す。
論文 参考訳(メタデータ) (2023-03-28T12:56:54Z) - Real-time Neural-MPC: Deep Learning Model Predictive Control for
Quadrotors and Agile Robotic Platforms [59.03426963238452]
モデル予測制御パイプライン内の動的モデルとして,大規模で複雑なニューラルネットワークアーキテクチャを効率的に統合するフレームワークであるReal-time Neural MPCを提案する。
ニューラルネットワークを使わずに、最先端のMPCアプローチと比較して、位置追跡誤差を最大82%削減することで、実世界の問題に対する我々のフレームワークの実現可能性を示す。
論文 参考訳(メタデータ) (2022-03-15T09:38:15Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。
小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。
数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
論文 参考訳(メタデータ) (2022-01-16T07:22:47Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2021-06-18T03:11:15Z) - Fully-parallel Convolutional Neural Network Hardware [0.7829352305480285]
本稿では,ハードウェアにArticial Neural Networks(ANN)を実装するための,新しい電力・面積効率アーキテクチャを提案する。
LENET-5として完全に並列なCNNを1つのFPGAに埋め込んでテストするのが初めてである。
論文 参考訳(メタデータ) (2020-06-22T17:19:09Z) - ESSOP: Efficient and Scalable Stochastic Outer Product Architecture for
Deep Learning [1.2019888796331233]
行列ベクトル乗算(MVM)とベクトルベクトル外積(VVOP)は、ディープニューラルネットワーク(DNN)のトレーニングに関連する2つの最も高価な演算である。
DNNの重み更新において,多くの最先端ネットワークで要求される活性化機能を備えたSCに効率的な手法を導入する。
我々のアーキテクチャは、乱数を再使用し、ビットシフトスケーリングによって特定のFP乗算演算を置き換えることで計算コストを削減する。
14nm技術ノードにおけるESSOPのハードウェア設計は、高度にパイプライン化されたFP16乗算器と比較して、ESSOPは82.2%、93.7%エネルギー効率が良いことを示している。
論文 参考訳(メタデータ) (2020-03-25T07:54:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。