論文の概要: DNA: Differentiable Network-Accelerator Co-Search

• arxiv url: http://arxiv.org/abs/2010.14778v1
• Date: Wed, 28 Oct 2020 05:57:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 05:48:26.600348
• Title: DNA: Differentiable Network-Accelerator Co-Search
• Title（参考訳）: DNA: ネットワークアクセラレータの共同検索
• Authors: Yongan Zhang, Yonggan Fu, Weiwen Jiang, Chaojian Li, Haoran You, Meng Li, Vikas Chandra, Yingyan Lin
• Abstract要約: そこで我々は,一致したネットワークやアクセラレータを自動的に検索する,差別化可能なネットワーク加速器のコサーチフレームワークであるDNAを提案する。 1)DNNアクセラレータの汎用設計スペースと、アルゴリズム探索を可能にするPyTorchなどのDNNフレームワークとの互換性。 実験およびアブレーション研究により、DNAによって生成されたマッチングネットワークと加速器は、常に最先端(SOTA)のDNNや加速器より優れていることが示されている。
• 参考スコア（独自算出の注目度）: 36.68587348474986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Powerful yet complex deep neural networks (DNNs) have fueled a booming demand for efficient DNN solutions to bring DNN-powered intelligence into numerous applications. Jointly optimizing the networks and their accelerators are promising in providing optimal performance. However, the great potential of such solutions have yet to be unleashed due to the challenge of simultaneously exploring the vast and entangled, yet different design spaces of the networks and their accelerators. To this end, we propose DNA, a Differentiable Network-Accelerator co-search framework for automatically searching for matched networks and accelerators to maximize both the task accuracy and acceleration efficiency. Specifically, DNA integrates two enablers: (1) a generic design space for DNN accelerators that is applicable to both FPGA- and ASIC-based DNN accelerators and compatible with DNN frameworks such as PyTorch to enable algorithmic exploration for more efficient DNNs and their accelerators; and (2) a joint DNN network and accelerator co-search algorithm that enables simultaneously searching for optimal DNN structures and their accelerators' micro-architectures and mapping methods to maximize both the task accuracy and acceleration efficiency. Experiments and ablation studies based on FPGA measurements and ASIC synthesis show that the matched networks and accelerators generated by DNA consistently outperform state-of-the-art (SOTA) DNNs and DNN accelerators (e.g., 3.04x better FPS with a 5.46% higher accuracy on ImageNet), while requiring notably reduced search time (up to 1234.3x) over SOTA co-exploration methods, when evaluated over ten SOTA baselines on three datasets. All codes will be released upon acceptance.
• Abstract（参考訳）: 強力で複雑なディープニューラルネットワーク(DNN)は、DNN駆動のインテリジェンスを多数のアプリケーションに導入するために、効率的なDNNソリューションの需要が急増している。 ネットワークとアクセラレータを共同で最適化することで、最適なパフォーマンスを提供することができる。 しかし、ネットワークとその加速器の広大かつ絡み合った異なる設計空間を同時に探索することの難しさから、そのようなソリューションの大きな可能性はまだ明らかにされていない。 そこで本研究では,マッチングされたネットワークとアクセラレータを自動的に検索し,タスクの精度と高速化効率を最大化する,ネットワーク・アクセラレータ共探索フレームワークであるdnaを提案する。 Specifically, DNA integrates two enablers: (1) a generic design space for DNN accelerators that is applicable to both FPGA- and ASIC-based DNN accelerators and compatible with DNN frameworks such as PyTorch to enable algorithmic exploration for more efficient DNNs and their accelerators; and (2) a joint DNN network and accelerator co-search algorithm that enables simultaneously searching for optimal DNN structures and their accelerators' micro-architectures and mapping methods to maximize both the task accuracy and acceleration efficiency. FPGA測定とASIC合成に基づく実験およびアブレーション研究により、一致したネットワークとDNAによって生成されたアクセラレータは、常に最先端(SOTA)のDNNとDNNアクセラレータ(例えば、画像Netの精度が5.46%向上した3.04倍のFPS)を上回り、SOTAの共同探索法よりも探索時間(最大1234.3倍)が大幅に短縮された。 すべてのコードは受理時に解放される。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Precision-aware Latency and Energy Balancing on Multi-Accelerator Platforms for DNN Inference [22.9834921448069]
  我々は,チップ上で異なるアクセラレーター間で細粒度マッピングを行うハードウェア認識ツールであるODiMOを提案する。 ODiMOは,手動マッピングと比較して,限界精度低下(-0.53%/-0.32%)で,最大33%/31%のエネルギー/遅延を減少させることを示した。
  論文  参考訳（メタデータ） (2023-06-08T09:23:46Z)
• NASA: Neural Architecture Search and Acceleration for Hardware Inspired Hybrid Networks [24.95135135092478]
  我々はNASAというニューラルアーキテクチャ検索・加速フレームワークを提案する。 自動乗算型DNN開発を可能にし、専用乗算型加速器を統合する。 実験は、達成可能な精度と効率のトレードオフの観点から、NASAのアルゴリズム・ハードウェアの共同設計フレームワークの利点を一貫して評価する。
  論文  参考訳（メタデータ） (2022-10-24T16:03:42Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• G-CoS: GNN-Accelerator Co-Search Towards Both Better Accuracy and Efficiency [28.379932311374624]
  グラフニューラルネットワーク(GNN)は、グラフベースの学習タスクのための最先端(SOTA)メソッドとして登場した。 本稿では,GNN構造と加速器の自動検索を行うG-CoSを提案する。 G-CoSが生成したGNNは、タスク精度とハードウェア効率の両面で、SOTA GNNとGNNアクセラレータを一貫して上回っている。
  論文  参考訳（メタデータ） (2021-09-18T18:36:04Z)
• Auto-NBA: Efficient and Effective Search Over the Joint Space of Networks, Bitwidths, and Accelerators [29.72502711426566]
  本稿では,ネットワーク,ビット幅,アクセラレータを共同で検索するためのAuto-NBAというフレームワークを提案する。 本フレームワークは,各ターゲットデータセットとアクセラレーション仕様の巨大な共同設計空間内で,最適設計を効率的にローカライズする。 われわれのAuto-NBAは、ネットワークとアクセラレーターが一貫して最先端の設計を上回っている。
  論文  参考訳（メタデータ） (2021-06-11T18:54:29Z)
• NetAdaptV2: Efficient Neural Architecture Search with Fast Super-Network Training and Architecture Optimization [15.63765190153914]
  NetAdaptV2には、3つのイノベーションがあり、各ステップに費やす時間をバランスさせながら、差別化不可能な検索メトリクスをサポートします。 まず,ネットワーク深度と層幅を1つの検索次元にマージするチャネルレベルのバイパス接続を提案する。 第2に,複数のdnnを単一のフォワードバックパスでトレーニングし,スーパーネットワークのトレーニング時間を短縮するために,順序付きドロップアウトを提案する。
  論文  参考訳（メタデータ） (2021-03-31T18:03:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。