Fugu-MT 論文翻訳(概要): Auto-NBA: Efficient and Effective Search Over the Joint Space of Networks, Bitwidths, and Accelerators

論文の概要: Auto-NBA: Efficient and Effective Search Over the Joint Space of Networks, Bitwidths, and Accelerators

arxiv url: http://arxiv.org/abs/2106.06575v2
Date: Mon, 24 Apr 2023 05:21:19 GMT
ステータス: 処理完了
システム内更新日: 2023-04-26 01:13:41.244780
Title: Auto-NBA: Efficient and Effective Search Over the Joint Space of Networks, Bitwidths, and Accelerators
Title（参考訳）: Auto-NBA: ネットワーク、ビット幅、加速器の結合空間を効率よく効果的に検索する
Authors: Yonggan Fu, Yongan Zhang, Yang Zhang, David Cox, Yingyan Lin
Abstract要約: 本稿では,ネットワーク,ビット幅,アクセラレータを共同で検索するためのAuto-NBAというフレームワークを提案する。本フレームワークは,各ターゲットデータセットとアクセラレーション仕様の巨大な共同設計空間内で,最適設計を効率的にローカライズする。われわれのAuto-NBAは、ネットワークとアクセラレーターが一貫して最先端の設計を上回っている。
参考スコア（独自算出の注目度）: 29.72502711426566
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While maximizing deep neural networks' (DNNs') acceleration efficiency requires a joint search/design of three different yet highly coupled aspects, including the networks, bitwidths, and accelerators, the challenges associated with such a joint search have not yet been fully understood and addressed. The key challenges include (1) the dilemma of whether to explode the memory consumption due to the huge joint space or achieve sub-optimal designs, (2) the discrete nature of the accelerator design space that is coupled yet different from that of the networks and bitwidths, and (3) the chicken and egg problem associated with network-accelerator co-search, i.e., co-search requires operation-wise hardware cost, which is lacking during search as the optimal accelerator depending on the whole network is still unknown during search. To tackle these daunting challenges towards optimal and fast development of DNN accelerators, we propose a framework dubbed Auto-NBA to enable jointly searching for the Networks, Bitwidths, and Accelerators, by efficiently localizing the optimal design within the huge joint design space for each target dataset and acceleration specification. Our Auto-NBA integrates a heterogeneous sampling strategy to achieve unbiased search with constant memory consumption, and a novel joint-search pipeline equipped with a generic differentiable accelerator search engine. Extensive experiments and ablation studies validate that both Auto-NBA generated networks and accelerators consistently outperform state-of-the-art designs (including co-search/exploration techniques, hardware-aware NAS methods, and DNN accelerators), in terms of search time, task accuracy, and accelerator efficiency. Our codes are available at: https://github.com/RICE-EIC/Auto-NBA.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)の加速効率を最大化するためには、ネットワーク、ビット幅、加速器を含む3つの異なる高度に結合した側面の合同サーチ/設計が必要であるが、そのような共同サーチに関する課題はまだ十分に理解されておらず、対処されていない。 The key challenges include (1) the dilemma of whether to explode the memory consumption due to the huge joint space or achieve sub-optimal designs, (2) the discrete nature of the accelerator design space that is coupled yet different from that of the networks and bitwidths, and (3) the chicken and egg problem associated with network-accelerator co-search, i.e., co-search requires operation-wise hardware cost, which is lacking during search as the optimal accelerator depending on the whole network is still unknown during search. DNN加速器の最適かつ迅速な開発に向けたこれらの難題に対処するために、ターゲットデータセットとアクセラレーション仕様の巨大な共同設計空間内で最適な設計を効率よくローカライズし、ネットワーク、ビット幅、加速器を共同で検索できるAuto-NBAというフレームワークを提案する。我々のAuto-NBAは、メモリ消費を一定に抑えた非バイアス探索を実現するための異種サンプリング戦略と、一般化可能なアクセルサーチエンジンを備えた新しい共同探索パイプラインを統合した。大規模な実験とアブレーション研究により、Auto-NBAが生成したネットワークとアクセラレータは、探索時間、タスク精度、アクセル効率の点で、最先端の設計(共同調査/探索技術、ハードウェア対応NASメソッド、DNNアクセラレータなど)を一貫して上回っていることが検証された。私たちのコードは、https://github.com/RICE-EIC/Auto-NBA.comで利用可能です。

関連論文リスト

OTOv3: Automatic Architecture-Agnostic Neural Network Training and Compression from Structured Pruning to Erasing Operators [57.145175475579315]
このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。第3世代のOTOv3(Noth-Train-Once)を導入する。我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
論文参考訳（メタデータ） (2023-12-15T00:22:55Z)
MARS: Exploiting Multi-Level Parallelism for DNN Workloads on Adaptive Multi-Accelerator Systems [27.490645446510033]
本稿では,並列性を最大化するために,計算対応アクセラレータ選択と通信対応シャーディング戦略の適用が可能な新しいマッピングフレームワークを提案する。その結果,MARS はベースラインと比較して DNN のワークロードの平均で32.2% のレイテンシ削減を達成でき,またヘテロジニアスモデルでは59.4% のレイテンシ削減を実現している。
論文参考訳（メタデータ） (2023-07-23T05:50:37Z)
Exploring Complicated Search Spaces with Interleaving-Free Sampling [127.07551427957362]
本稿では,長距離接続を伴う複雑な検索空間上に探索アルゴリズムを構築する。我々はtextbfIF-NAS という単純なアルゴリズムを提案し、異なるサブネットワークを構築するために周期的なサンプリング戦略を実行する。提案した探索空間において、IF-NASはランダムサンプリングと従来の重み付け検索のアルゴリズムを有意差で上回っている。
論文参考訳（メタデータ） (2021-12-05T06:42:48Z)
Union: A Unified HW-SW Co-Design Ecosystem in MLIR for Evaluating Tensor Operations on Spatial Accelerators [4.055002321981825]
We present a HW-SW co-design ecosystem for space accelerators called Union。我々のフレームワークは、いくつかのアクセラレータコストモデル上で、異なるアルゴリズムとそのマッピングを探索することができる。コミュニティにとってのユニオンの価値をいくつかのケーススタディで実証する。
論文参考訳（メタデータ） (2021-09-15T16:42:18Z)
Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
論文参考訳（メタデータ） (2021-08-26T17:52:07Z)
AutoSpace: Neural Architecture Search with Less Human Interference [84.42680793945007]
現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
論文参考訳（メタデータ） (2021-03-22T13:28:56Z)
DNA: Differentiable Network-Accelerator Co-Search [36.68587348474986]
そこで我々は,一致したネットワークやアクセラレータを自動的に検索する,差別化可能なネットワーク加速器のコサーチフレームワークであるDNAを提案する。 1)DNNアクセラレータの汎用設計スペースと、アルゴリズム探索を可能にするPyTorchなどのDNNフレームワークとの互換性。実験およびアブレーション研究により、DNAによって生成されたマッチングネットワークと加速器は、常に最先端(SOTA)のDNNや加速器より優れていることが示されている。
論文参考訳（メタデータ） (2020-10-28T05:57:16Z)
Effective Algorithm-Accelerator Co-design for AI Solutions on Edge Devices [42.07369847938341]
高品質なAIソリューションは、ディープニューラルネットワーク(DNN)やハードウェアアクセラレータなど、AIアルゴリズムの共同最適化を必要とする。全体的なソリューション品質を向上させるとともに、設計生産性を高めるためには、効率的なアルゴリズムとアクセラレーター共設計手法が不可欠である。本稿では,アルゴリズムアクセラレータの共同設計の重要性と有効性を強調し,この興味深く要求の多い領域におけるさらなる研究のブレークスルーを求める。
論文参考訳（メタデータ） (2020-10-14T15:59:10Z)
DANCE: Differentiable Accelerator/Network Co-Exploration [8.540518473228078]
この研究は、ハードウェアアクセラレーターとネットワークアーキテクチャ設計の共同探索に向けた異なるアプローチを示す。ハードウェア評価ソフトウェアをニューラルネットワークでモデル化することにより、アクセラレーションアーキテクチャとハードウェアメトリクスの関係は微分可能となる。提案手法は,既存手法と比較して,精度とハードウェアコストの指標を向上しつつ,比較的短い時間で共同探索を行う。
論文参考訳（メタデータ） (2020-09-14T07:43:27Z)
CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
論文参考訳（メタデータ） (2020-07-18T09:35:53Z)
Real-Time Semantic Segmentation via Auto Depth, Downsampling Joint Decision and Feature Aggregation [54.28963233377946]
本稿では,セグメンテーション戦略の自動化を目的として,AutoRTNetという共同検索フレームワークを提案する。具体的には,ネットワーク深度とダウンサンプリング戦略を協調的に決定するハイパーセルと,自動マルチスケール機能アグリゲーションを実現するアグリゲーションセルを提案する。
論文参考訳（メタデータ） (2020-03-31T14:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。