論文の概要: Best of Both Worlds: AutoML Codesign of a CNN and its Hardware Accelerator

• arxiv url: http://arxiv.org/abs/2002.05022v2
• Date: Fri, 6 Mar 2020 10:28:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 02:48:53.416667
• Title: Best of Both Worlds: AutoML Codesign of a CNN and its Hardware Accelerator
• Title（参考訳）: 両世界のベスト: cnnとそのハードウェアアクセラレータのautomlコード署名
• Authors: Mohamed S. Abdelfattah, {\L}ukasz Dudziak, Thomas Chau, Royson Lee, Hyeji Kim, Nicholas D. Lane
• Abstract要約: 我々は、CNNモデルとHWアクセラレータの両方からのパラメータを含めることで、NASを用いてHW-CNN符号を自動生成する。 精度と効率を向上する最高のモデル加速器ペアを共同で探す。
• 参考スコア（独自算出の注目度）: 21.765796576990137
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) has been very successful at outperforming human-designed convolutional neural networks (CNN) in accuracy, and when hardware information is present, latency as well. However, NAS-designed CNNs typically have a complicated topology, therefore, it may be difficult to design a custom hardware (HW) accelerator for such CNNs. We automate HW-CNN codesign using NAS by including parameters from both the CNN model and the HW accelerator, and we jointly search for the best model-accelerator pair that boosts accuracy and efficiency. We call this Codesign-NAS. In this paper we focus on defining the Codesign-NAS multiobjective optimization problem, demonstrating its effectiveness, and exploring different ways of navigating the codesign search space. For CIFAR-10 image classification, we enumerate close to 4 billion model-accelerator pairs, and find the Pareto frontier within that large search space. This allows us to evaluate three different reinforcement-learning-based search strategies. Finally, compared to ResNet on its most optimal HW accelerator from within our HW design space, we improve on CIFAR-100 classification accuracy by 1.3% while simultaneously increasing performance/area by 41% in just~1000 GPU-hours of running Codesign-NAS.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は,人間の設計した畳み込みニューラルネットワーク(CNN)の精度,ハードウェア情報が存在する場合のレイテンシを向上することに成功した。 しかしながら、NASが設計したCNNは一般に複雑なトポロジを持つため、そのようなCNN用にカスタムハードウェア(HW)アクセラレータを設計することは困難である。 我々は、CNNモデルとHWアクセラレータの両方のパラメータを含むNASを用いてHW-CNN符号を自動生成し、精度と効率を高める最高のモデル・アクセラレータペアを共同で探索する。 これを Codesign-NAS と呼ぶ。 本稿では,Codesign-NAS多目的最適化問題の定義,その有効性を示すこと,およびCodesignの検索空間をナビゲートする方法の探索に焦点をあてる。 CIFAR-10画像分類では、40億近いモデル加速器ペアを列挙し、その大きな探索空間内でパレートフロンティアを見つける。 これにより、3つの異なる強化学習に基づく検索戦略を評価することができる。 最後に、hw設計領域から最も最適なhwアクセラレータのresnetと比較し、cifar-100の分類精度を1.3%向上するとともに、codesign-nasを実行する1000gpu時間あたりのパフォーマンス/面積を41%向上させた。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• RoHNAS: A Neural Architecture Search Framework with Conjoint Optimization for Adversarial Robustness and Hardware Efficiency of Convolutional and Capsule Networks [10.946374356026679]
  RoHNASは、Deep Neural Network(DNN)の対向ロバスト性とハードウェア効率を共同で最適化する新しいフレームワークである。 探索時間を短縮するため、RoHNASはNASフローで使用するデータセット毎に、逆摂動の適切な値を分析し、選択する。
  論文  参考訳（メタデータ） (2022-10-11T09:14:56Z)
• Algorithm and Hardware Co-design for Reconfigurable CNN Accelerator [3.1431240233552007]
  ディープニューラルネットワーク(DNN)のためのアルゴリズムハードウェアの共同設計の最近の進歩は、ニューラルネットワークやハードウェア設計を自動設計する可能性を示している。 しかし、高価なトレーニングコストと時間を要するハードウェア実装のため、これは依然として困難な最適化問題である。 本稿では,新しい3相共設計フレームワークを提案する。 ネットワークとハードウェアの構成は精度が2%向上し,レイテンシが2倍26倍,エネルギー効率が8.5倍向上した。
  論文  参考訳（メタデータ） (2021-11-24T20:37:50Z)
• FLASH: Fast Neural Architecture Search with Hardware Optimization [7.263481020106725]
  ニューラルアーキテクチャサーチ(NAS)は、効率的かつ高性能なディープニューラルネットワーク(DNN)を設計するための有望な手法である 本稿では,実ハードウェアプラットフォーム上でのDNNの精度と性能を協調的に最適化する,非常に高速なNAS手法であるFLASHを提案する。
  論文  参考訳（メタデータ） (2021-08-01T23:46:48Z)
• RHNAS: Realizable Hardware and Neural Architecture Search [3.5694949627557846]
  RHNASは、ハードウェア最適化のための強化学習と、微分可能なニューラルネットワーク探索を組み合わせた手法である。 RHNASは、ImageNetの1.84倍低レイテンシと1.86倍低エネルギー遅延製品(EDP)、CIFAR-10の2.81倍低レイテンシと3.30倍低レイテンシで実現可能なNN-HWの設計を発見した。
  論文  参考訳（メタデータ） (2021-06-17T00:15:42Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Searching for Fast Model Families on Datacenter Accelerators [33.28421782921072]
  高速かつ高精度なCNNモデルファミリをDC加速器上での効率的な推論のために探索する。 本稿では,待ち時間と待ち時間の両方を最適化するLACS法を提案する。 我々のLACSは、ネットワークの深さが画像サイズやネットワーク幅よりもはるかに速く成長することを発見した。
  論文  参考訳（メタデータ） (2021-02-10T18:15:40Z)
• PV-NAS: Practical Neural Architecture Search for Video Recognition [83.77236063613579]
  ビデオタスクのためのディープニューラルネットワークは高度にカスタマイズされており、そのようなネットワークの設計にはドメインの専門家と高価な試行錯誤テストが必要である。 ネットワークアーキテクチャ検索の最近の進歩により、画像認識性能は大幅に向上した。 本研究では,実用的ビデオニューラルアーキテクチャ探索(PV-NAS)を提案する。
  論文  参考訳（メタデータ） (2020-11-02T08:50:23Z)
• Neural Architecture Search of SPD Manifold Networks [79.45110063435617]
  本研究では,Symmetric Positive Definite (SPD) 多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。 まず、効率的なSPDセル設計のために、幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。 我々は、SPDニューラルアーキテクチャ探索のための緩和された連続探索空間上で微分可能なNASアルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-10-27T18:08:57Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。