論文の概要: Co-Exploration of Neural Architectures and Heterogeneous ASIC
Accelerator Designs Targeting Multiple Tasks
- arxiv url: http://arxiv.org/abs/2002.04116v1
- Date: Mon, 10 Feb 2020 22:22:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 08:39:08.556452
- Title: Co-Exploration of Neural Architectures and Heterogeneous ASIC
Accelerator Designs Targeting Multiple Tasks
- Title（参考訳）: 複数のタスクを対象としたニューラルアーキテクチャとヘテロジニアスasic加速器設計の共存
- Authors: Lei Yang, Zheyu Yan, Meng Li, Hyoukjun Kwon, Liangzhen Lai, Tushar
Krishna, Vikas Chandra, Weiwen Jiang, Yiyu Shi
- Abstract要約: 複数のDNNアーキテクチャとそれに関連する異種ASICアクセラレータ設計を同時に識別できるフレームワークであるNASAICを提案する。
その結果、NASAICは設計仕様を17.77%、2.49倍、および2.32倍の遅延、エネルギー、面積が減少し、精度が0.76%低下することが保証された。
- 参考スコア（独自算出の注目度）: 21.792106292415625
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Architecture Search (NAS) has demonstrated its power on various AI
accelerating platforms such as Field Programmable Gate Arrays (FPGAs) and
Graphic Processing Units (GPUs). However, it remains an open problem, how to
integrate NAS with Application-Specific Integrated Circuits (ASICs), despite
them being the most powerful AI accelerating platforms. The major bottleneck
comes from the large design freedom associated with ASIC designs. Moreover,
with the consideration that multiple DNNs will run in parallel for different
workloads with diverse layer operations and sizes, integrating heterogeneous
ASIC sub-accelerators for distinct DNNs in one design can significantly boost
performance, and at the same time further complicate the design space. To
address these challenges, in this paper we build ASIC template set based on
existing successful designs, described by their unique dataflows, so that the
design space is significantly reduced. Based on the templates, we further
propose a framework, namely NASAIC, which can simultaneously identify multiple
DNN architectures and the associated heterogeneous ASIC accelerator design,
such that the design specifications (specs) can be satisfied, while the
accuracy can be maximized. Experimental results show that compared with
successive NAS and ASIC design optimizations which lead to design spec
violations, NASAIC can guarantee the results to meet the design specs with
17.77%, 2.49x, and 2.32x reductions on latency, energy, and area and with 0.76%
accuracy loss. To the best of the authors' knowledge, this is the first work on
neural architecture and ASIC accelerator design co-exploration.
- Abstract（参考訳）: Neural Architecture Search(NAS)は、Field Programmable Gate Arrays(FPGA)やGraphic Processing Units(GPU)など、さまざまなAIアクセラレーションプラットフォームにその能力を実証している。
しかし、最も強力なAIアクセラレーションプラットフォームであるにもかかわらず、どのようにNASをアプリケーション特化集積回路(ASIC)と統合するかは未解決の問題である。
主なボトルネックはASICの設計に関連する大きな設計の自由にある。
さらに、複数のDNNが多様なレイヤ操作とサイズで異なるワークロードに対して並列に実行されることを考慮すると、異なるDNNのための異種ASICサブアクセラレータをひとつの設計に統合することは、性能を大幅に向上させると同時に、設計空間をさらに複雑にする可能性がある。
これらの課題に対処するため,本稿では,既存の設計に基づくasicテンプレートセットを構築し,そのユニークなデータフローによって記述し,設計スペースを大幅に削減する。
さらに、テンプレートに基づいて、複数のDNNアーキテクチャとそれに関連する異種ASICアクセラレータ設計を同時に識別し、設計仕様(仕様)を満足でき、精度を最大化できるフレームワークであるNASAICを提案する。
実験の結果、nasおよびasicの設計最適化が設計仕様違反につながるのに対して、nasaicは17.77%、2.49x、および2.32倍のレイテンシ、エネルギー、面積の削減と0.76%の精度損失で設計仕様を満たすことを保証できることがわかった。
著者の知る限りでは、これはニューラルアーキテクチャとASICアクセラレーター設計の共同探索に関する最初の研究である。
関連論文リスト
- AsCAN: Asymmetric Convolution-Attention Networks for Efficient Recognition and Generation [48.82264764771652]
本稿では,畳み込みブロックと変圧器ブロックを組み合わせたハイブリッドアーキテクチャAsCANを紹介する。
AsCANは、認識、セグメンテーション、クラス条件画像生成など、さまざまなタスクをサポートしている。
次に、同じアーキテクチャをスケールして、大規模なテキスト・イメージタスクを解決し、最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-11-07T18:43:17Z) - ADEPT-Z: Zero-Shot Automated Circuit Topology Search for Pareto-Optimal Photonic Tensor Cores [10.23290448364426]
フォトニックテンソルコア(PTC)は、光学人工知能(AI)アクセラレーターにとって不可欠なビルディングブロックである。
より柔軟で効率的な多目的進化的トポロジ探索フレームワークADEPT-Zを提案する。
論文 参考訳（メタデータ） (2024-10-02T08:09:41Z) - ArtA: Automating Design Space Exploration of Spin Qubit Architectures [1.1528488253382057]
本稿では、量子ドットスピン量子ビットアーキテクチャのための最初の設計空間探索(DSE)を紹介する。
ArtAは17の最適化構成を利用でき、探索時間を最大99.1%削減できる。
我々の研究は、DSE手法と最適化アルゴリズムの相乗効果を効果的に展開し、量子プロセッサ設計者に有用な提案を提供することを実証している。
論文 参考訳（メタデータ） (2024-07-25T16:02:44Z) - TurboViT: Generating Fast Vision Transformers via Generative
Architecture Search [74.24393546346974]
近年、視覚変換器は様々な視覚認知タスクに対処する上で、前例のないレベルの性能を示している。
近年,効率的な視覚変換器の設計に関する研究が盛んに行われている。
本研究では,生成型アーキテクチャサーチによる高速ビジョントランスフォーマーアーキテクチャの設計について検討する。
論文 参考訳（メタデータ） (2023-08-22T13:08:29Z) - End-to-end codesign of Hessian-aware quantized neural networks for FPGAs
and ASICs [49.358119307844035]
我々は、共設計ニューラルネットワーク(NN)のトレーニングと実装のためのエンドツーエンドワークフローを開発する。
これにより、ハードウェアにおける効率的なNN実装が、非専門家に、単一のオープンソースワークフローでアクセスできるようになる。
大型ハドロン衝突型加速器(LHC)の40MHz衝突速度で動作しなければならないトリガー決定を含む粒子物理学アプリケーションにおけるワークフローを実演する。
シミュレーションLHC陽子-陽子衝突における高速粒子ジェット用混合精度NNを実装した。
論文 参考訳（メタデータ） (2023-04-13T18:00:01Z) - A Semi-Decoupled Approach to Fast and Optimal Hardware-Software
Co-Design of Neural Accelerators [22.69558355718029]
ハードウェアとソフトウェアの共同設計は、フレキシブルなデザインスペースの利点を完全に享受し、ニューラルネットワークのパフォーマンスを最適化するために現れています。
このような共同設計は、全検索空間を事実上無限大に拡大し、重大な課題を提起する。
本稿では,設計空間全体の規模を桁違いに小さくするが,最適性を損なうことなく,Emphsemi-Decoupledアプローチを提案する。
論文 参考訳（メタデータ） (2022-03-25T21:49:42Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - Algorithm and Hardware Co-design for Reconfigurable CNN Accelerator [3.1431240233552007]
ディープニューラルネットワーク(DNN)のためのアルゴリズムハードウェアの共同設計の最近の進歩は、ニューラルネットワークやハードウェア設計を自動設計する可能性を示している。
しかし、高価なトレーニングコストと時間を要するハードウェア実装のため、これは依然として困難な最適化問題である。
本稿では,新しい3相共設計フレームワークを提案する。
ネットワークとハードウェアの構成は精度が2%向上し,レイテンシが2倍26倍,エネルギー効率が8.5倍向上した。
論文 参考訳（メタデータ） (2021-11-24T20:37:50Z) - SECDA: Efficient Hardware/Software Co-Design of FPGA-based DNN
Accelerators for Edge Inference [0.0]
本稿では,FPGAを用いたエッジデバイス上でのDeep Neural Networks (DNN) 推論アクセラレータの設計時間を短縮するハードウェア/ソフトウェア共同設計手法であるSECDAを提案する。
SECDAを用いて、エッジFPGAを含むプラットフォームであるPYNQ-Z1基板上で、2つの異なるDNNアクセラレータ設計を効率的に開発する。
我々は,4つの一般的なDNNモデルを用いた2つの加速器設計を評価し,CPUのみの推論よりもエネルギー消費を2.9$times$で3.5$times$までのモデルで平均性能を向上した。
論文 参考訳（メタデータ） (2021-10-01T15:20:29Z) - Design Space for Graph Neural Networks [81.88707703106232]
グラフニューラルネットワーク(GNN)のアーキテクチャ設計空間は,32種類の予測タスクに対して315,000の異なる設計で構成されている。
本研究の主な成果は,(1) 優れたGNNを設計するための包括的ガイドライン,(2) 異なるタスクに対する最高のGNN設計は著しく異なるが,GNNタスク空間は,異なるタスク間で最高の設計を転送することができる,(3) デザイン空間を用いて発見されたモデルが最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-11-17T18:59:27Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳（メタデータ） (2020-04-23T14:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。