論文の概要: Transparent FPGA Acceleration with TensorFlow
- arxiv url: http://arxiv.org/abs/2102.06018v1
- Date: Tue, 2 Feb 2021 06:49:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-05 00:31:48.899848
- Title: Transparent FPGA Acceleration with TensorFlow
- Title(参考訳): TensorFlowによる透過FPGA高速化
- Authors: Simon Pfenning, Philipp Holzinger, Marc Reichenbach
- Abstract要約: 我々は,新しいディープラーニングアクセラレータを利用したい開発者のためのツールフローを提案する。
バックエンドでは、ランタイム環境経由でアクセス可能なFPGAを使用します。
これは、ハードウェアがネットワークの構造で静的に構成されていないため、HSAツールフローによって実現できます。
- 参考スコア(独自算出の注目度): 1.0828616610785522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Today, artificial neural networks are one of the major innovators pushing the
progress of machine learning. This has particularly affected the development of
neural network accelerating hardware. However, since most of these
architectures require specialized toolchains, there is a certain amount of
additional effort for developers each time they want to make use of a new deep
learning accelerator. Furthermore the flexibility of the device is bound to the
architecture itself, as well as to the functionality of the runtime
environment.
In this paper we propose a toolflow using TensorFlow as frontend, thus
offering developers the opportunity of using a familiar environment. On the
backend we use an FPGA, which is addressable via an HSA runtime environment. In
this way we are able to hide the complexity of controlling new hardware from
the user, while at the same time maintaining a high amount of flexibility. This
can be achieved by our HSA toolflow, since the hardware is not statically
configured with the structure of the network. Instead, it can be dynamically
reconfigured during runtime with the respective kernels executed by the network
and simultaneously from other sources e.g. OpenCL/OpenMP.
- Abstract(参考訳): 今日、ニューラルネットワークは機械学習の進歩を推進する主要なイノベーターの1つだ。
これは特にニューラルネットワークの高速化ハードウェアの開発に影響を与えている。
しかし、これらのアーキテクチャのほとんどは特殊なツールチェーンを必要とするため、新しいディープラーニングアクセラレータを使いたいと思うたびに、開発者にはある程度の労力がかかる。
さらに、デバイスの柔軟性は、ランタイム環境の機能だけでなく、アーキテクチャ自体に結びついています。
本稿では,TensorFlowをフロントエンドとして使用するツールフローを提案する。
バックエンドではFPGAを使用し、HSAランタイム環境を介してアクセス可能です。
このようにして、ユーザから新しいハードウェアを制御する複雑さを隠すと同時に、高い柔軟性を維持することができます。
ハードウェアはネットワークの構造を静的に設定していないため、HSAツールフローによって実現できます。
代わりに、ネットワークによって実行される各カーネルと、他のソースから同時に実行中に動的に再構成することができる。
OpenCL/OpenMP。
関連論文リスト
- HAPM -- Hardware Aware Pruning Method for CNN hardware accelerators in resource constrained devices [44.99833362998488]
本研究はFPGAデバイスに実装可能な汎用ハードウェアアーキテクチャを提案する。
設計の推論速度は、リソース制約の異なるFPGAデバイス上で評価される。
ハードウェア対応プルーニングアルゴリズムは,標準アルゴリズムを用いたネットワークプルーニングに比べて,推論時間45%の顕著な改善を実現していることを示す。
論文 参考訳(メタデータ) (2024-08-26T07:27:12Z) - SpikeExplorer: hardware-oriented Design Space Exploration for Spiking Neural Networks on FPGA [42.170149806080204]
SpikExplorerは、ハードウェア指向のAutomatic Design Space ExplorationのためのPythonツールである。
最適なネットワークアーキテクチャ、ニューロンモデル、内部およびトレーニングパラメータを検索する。
MNISTデータセットでは95.8%の精度に達し、消費電力は180mW/image、レイテンシは0.12ms/imageである。
論文 参考訳(メタデータ) (2024-04-04T17:53:08Z) - Spyx: A Library for Just-In-Time Compiled Optimization of Spiking Neural
Networks [0.08965418284317034]
Spiking Neural Networks(SNN)は、小さくて低消費電力なハードウェアフットプリントによるエネルギー効率の向上を提供する。
本稿では、JAXで設計された新しい軽量SNNシミュレーションおよび最適化ライブラリSpyxを紹介する。
論文 参考訳(メタデータ) (2024-02-29T09:46:44Z) - FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems [61.335229621081346]
フェデレートラーニング(FL)は,ネットワークエッジ上での分散ディープラーニングのプライバシ強化を実現する上で,有効なテクニックとなっている。
本稿では,既存のFLベンチマークを補完するFLEdgeを提案する。
論文 参考訳(メタデータ) (2023-06-08T13:11:20Z) - Reconfigurable Distributed FPGA Cluster Design for Deep Learning
Accelerators [59.11160990637615]
エッジコンピューティングアプリケーション用に設計された低消費電力組み込みFPGAに基づく分散システムを提案する。
提案システムは,様々なニューラルネットワーク(NN)モデルを同時に実行し,パイプライン構造にグラフを配置し,NNグラフの最も計算集約的な層により大きなリソースを手動で割り当てる。
論文 参考訳(メタデータ) (2023-05-24T16:08:55Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳(メタデータ) (2022-09-27T15:04:01Z) - SOL: Reducing the Maintenance Overhead for Integrating Hardware Support
into AI Frameworks [0.7614628596146599]
Theano、Caffe、Chainer、CNTK、MxNet、PyTorch、DL4JといったAIフレームワークは、ハイレベルなスクリプティングAPIを提供する。
主流でないCPUやGPU、アクセラレータベンダは、これらのフレームワークでハードウェアをサポートするために、高い努力を払わなければならない。
NEC Laboratories Europeは、すでに数年前にSOL AI Optimizationプロジェクトの開発を開始した。
論文 参考訳(メタデータ) (2022-05-19T08:40:46Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Exposing Hardware Building Blocks to Machine Learning Frameworks [4.56877715768796]
我々は、そのようなニューロンをユニークな関数として補完するトポロジーを設計する方法に焦点をあてる。
我々は、カスタムの空間性と量子化によるニューラルネットワークのトレーニングを支援するライブラリを開発する。
論文 参考訳(メタデータ) (2020-04-10T14:26:00Z) - Neural Network Compression Framework for fast model inference [59.65531492759006]
我々は、ニューラルネットワーク圧縮フレームワーク(NNCF)と呼ばれる、微調整によるニューラルネットワーク圧縮のための新しいフレームワークを提案する。
様々なネットワーク圧縮手法の最近の進歩を活用し、空間性、量子化、双項化などのいくつかの実装を行っている。
フレームワークは、トレーニングサンプル内に提供され、あるいは既存のトレーニングコードにシームレスに統合可能なスタンドアロンパッケージとして使用することができる。
論文 参考訳(メタデータ) (2020-02-20T11:24:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。