論文の概要: ATHEENA: A Toolflow for Hardware Early-Exit Network Automation
- arxiv url: http://arxiv.org/abs/2304.08400v1
- Date: Mon, 17 Apr 2023 16:06:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 14:22:07.384823
- Title: ATHEENA: A Toolflow for Hardware Early-Exit Network Automation
- Title（参考訳）: atheena: ハードウェア初期のネットワーク自動化のためのツールフロー
- Authors: Benjamin Biggs, Christos-Savvas Bouganis, George A. Constantinides
- Abstract要約: ATHEENA (Aware Early-Exit Network Automation) のためのツールフロー
このようなネットワークから早期に抜け出すサンプルの確率を利用して、ネットワークの異なるセクションに割り当てられたリソースをスケールするツールフロー。
- 参考スコア（独自算出の注目度）: 11.623574576259859
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The continued need for improvements in accuracy, throughput, and efficiency
of Deep Neural Networks has resulted in a multitude of methods that make the
most of custom architectures on FPGAs. These include the creation of
hand-crafted networks and the use of quantization and pruning to reduce
extraneous network parameters. However, with the potential of static solutions
already well exploited, we propose to shift the focus to using the varying
difficulty of individual data samples to further improve efficiency and reduce
average compute for classification. Input-dependent computation allows for the
network to make runtime decisions to finish a task early if the result meets a
confidence threshold. Early-Exit network architectures have become an
increasingly popular way to implement such behaviour in software.
We create: A Toolflow for Hardware Early-Exit Network Automation (ATHEENA),
an automated FPGA toolflow that leverages the probability of samples exiting
early from such networks to scale the resources allocated to different sections
of the network. The toolflow uses the data-flow model of fpgaConvNet, extended
to support Early-Exit networks as well as Design Space Exploration to optimize
the generated streaming architecture hardware with the goal of increasing
throughput/reducing area while maintaining accuracy. Experimental results on
three different networks demonstrate a throughput increase of $2.00\times$ to
$2.78\times$ compared to an optimized baseline network implementation with no
early exits. Additionally, the toolflow can achieve a throughput matching the
same baseline with as low as $46\%$ of the resources the baseline requires.
- Abstract（参考訳）: Deep Neural Networksの精度、スループット、効率性の改善に対する継続的なニーズは、FPGAのカスタムアーキテクチャを最大限に活用する多くの方法を生み出している。
これには手作りのネットワークの作成や、外部ネットワークパラメータを減らすために量子化とプルーニングの利用が含まれる。
しかし, 静的解の可能性が既に十分に活用されていることから, 個々のデータサンプルの難易度の変化に焦点を移し, 効率を向上し, 分類の平均計算量を削減することを提案する。
入力依存の計算により、信頼しきい値に達した場合、ネットワークは実行時にタスクを早期に終了させることができる。
初期のネットワークアーキテクチャは、このような振る舞いをソフトウェアに実装する手段として、ますます人気を高めています。
A Toolflow for Hardware Early-Exit Network Automation (ATHEENA)は、これらのネットワークから早期に抜け出すサンプルの確率を利用して、ネットワークの異なる部分に割り当てられたリソースをスケールする自動FPGAツールフローである。
このツールフローはfpgaconvnetのデータフローモデルを使用し、アーリーエクイットネットワークをサポートするように拡張され、生成したストリーミングアーキテクチャハードウェアを最適化するための設計スペース探索が、精度を維持しながらスループット/還元領域を増加させることを目的としている。
3つの異なるネットワークの実験結果は、初期出口のない最適化されたベースラインネットワーク実装と比較してスループットが2.00\times$から2.78\times$に向上したことを示している。
さらに、ツールフローは同じベースラインにマッチするスループットを、ベースラインに必要なリソースの4,6\%のコストで達成することができる。
関連論文リスト
- A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。
ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。
結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文 参考訳（メタデータ） (2023-08-28T14:19:13Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳（メタデータ） (2022-09-27T15:04:01Z) - Network Calculus with Flow Prolongation -- A Feedforward FIFO Analysis
enabled by ML [73.11023209243326]
Flow Prolongation (FP) は遅延境界精度を大幅に改善することが示されている。
本稿では,機械学習を用いて拡張を予測することによって,FPをスケールするアプローチであるDeepFPを紹介する。
DeepFPは計算コストを無視して平均12.1%削減する。
論文 参考訳（メタデータ） (2022-02-07T08:46:47Z) - perf4sight: A toolflow to model CNN training performance on Edge GPUs [16.61258138725983]
この研究は、CNNのトレーニングメモリフットプリントとレイテンシを予測する正確なモデルを開発するための自動化手法であるperf4sightを提案する。
フレームワークはPyTorch、ターゲットデバイスはNVIDIA Jetson TX2、それぞれ95%と91%の精度でトレーニングメモリフットプリントとレイテンシを予測する。
論文 参考訳（メタデータ） (2021-08-12T07:55:37Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳（メタデータ） (2021-06-07T11:37:03Z) - ItNet: iterative neural networks with small graphs for accurate and
efficient anytime prediction [1.52292571922932]
本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。
CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
論文 参考訳（メタデータ） (2021-01-21T15:56:29Z) - Enabling certification of verification-agnostic networks via
memory-efficient semidefinite programming [97.40955121478716]
本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。
L-inf の精度は 1% から 88% ,6% から 40% に改善した。
また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
論文 参考訳（メタデータ） (2020-10-22T12:32:29Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳（メタデータ） (2020-06-22T10:57:43Z) - Dataflow Aware Mapping of Convolutional Neural Networks Onto Many-Core
Platforms With Network-on-Chip Interconnect [0.0764671395172401]
マシンインテリジェンス、特に畳み込みニューラルネットワーク(CNN)は、ここ数年で大きな研究領域となっている。
複数の同質なコアで構成される多コアプラットフォームは、データフローマッピングの労力の増大を犠牲にして、物理実装に関する制限を緩和することができる。
この作業は、最小限のランタイムと最小限のオフチップメモリアクセスに対して、最適化目標の異なるシングルコアレベルから始まる自動マッピング戦略を示す。
この戦略は、適切なマルチコアマッピング方式に拡張され、ネットワークオンチップ相互接続によるスケーラブルなシステムレベルシミュレーションを用いて評価される。
論文 参考訳（メタデータ） (2020-06-18T17:13:18Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。