論文の概要: S3NAS: Fast NPU-aware Neural Architecture Search Methodology

• arxiv url: http://arxiv.org/abs/2009.02009v1
• Date: Fri, 4 Sep 2020 04:45:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 01:31:57.866043
• Title: S3NAS: Fast NPU-aware Neural Architecture Search Methodology
• Title（参考訳）: S3NAS:高速NPU対応ニューラルネットワーク探索手法
• Authors: Jaeseong Lee, Duseok Kang and Soonhoi Ha
• Abstract要約: S3NASと呼ばれる高速なNPU対応NAS手法を提案し,既存のNASよりも高精度なCNNアーキテクチャを提案する。 TPUv3を使って3時間でネットワークを見つけることができ、11.66ミリ秒のレイテンシでImageNetの82.72%のトップ1の精度を示している。
• 参考スコア（独自算出の注目度）: 2.607400740040335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the application area of convolutional neural networks (CNN) is growing in embedded devices, it becomes popular to use a hardware CNN accelerator, called neural processing unit (NPU), to achieve higher performance per watt than CPUs or GPUs. Recently, automated neural architecture search (NAS) emerges as the default technique to find a state-of-the-art CNN architecture with higher accuracy than manually-designed architectures for image classification. In this paper, we present a fast NPU-aware NAS methodology, called S3NAS, to find a CNN architecture with higher accuracy than the existing ones under a given latency constraint. It consists of three steps: supernet design, Single-Path NAS for fast architecture exploration, and scaling. To widen the search space of the supernet structure that consists of stages, we allow stages to have a different number of blocks and blocks to have parallel layers of different kernel sizes. For a fast neural architecture search, we apply a modified Single-Path NAS technique to the proposed supernet structure. In this step, we assume a shorter latency constraint than the required to reduce the search space and the search time. The last step is to scale up the network maximally within the latency constraint. For accurate latency estimation, an analytical latency estimator is devised, based on a cycle-level NPU simulator that runs an entire CNN considering the memory access overhead accurately. With the proposed methodology, we are able to find a network in 3 hours using TPUv3, which shows 82.72% top-1 accuracy on ImageNet with 11.66 ms latency. Code are released at https://github.com/cap-lab/S3NAS
• Abstract（参考訳）: 組み込みデバイスでは畳み込みニューラルネットワーク(CNN)の適用領域が拡大しているため、NPU(Neural Processing Unit)と呼ばれるハードウェアCNNアクセラレータを使用することで、CPUやGPUよりも1ワットあたりのパフォーマンスが向上する。 近年、画像分類のための手動設計アーキテクチャよりも高精度な最先端CNNアーキテクチャを見つけるために、NAS(Automatic Neural Architecture Search)がデフォルト技術として登場した。 本稿では,S3NASと呼ばれる高速なNPU対応NAS手法を提案する。 スーパーネット設計、高速アーキテクチャ探索のためのシングルパスNAS、スケーリングの3つのステップで構成されている。 ステージからなるスーパーネット構造の探索空間を広げるために、ステージごとに異なる数のブロックとブロックを持ち、異なるカーネルサイズの並列層を持つことができる。 高速ニューラルネットワーク探索のために,提案するスーパーネット構造に修正された単一パスnas手法を適用する。 このステップでは、検索空間と検索時間を削減するために必要なよりも短いレイテンシ制約を仮定する。 最後のステップは、レイテンシ制約内でネットワークを最大限にスケールアップすることです。 正確な遅延推定のために、メモリアクセスオーバーヘッドを正確に考慮したCNN全体を動作させるサイクルレベルのNPUシミュレータに基づいて、解析遅延推定器を考案した。 提案手法により,11.66ミリ秒のレイテンシでImageNet上の82.72%のトップ1の精度を示すTPUv3を用いて,ネットワークを3時間以内に見つけることができる。 コードはhttps://github.com/cap-lab/S3NASでリリースされる

関連論文リスト

• RATs-NAS: Redirection of Adjacent Trails on GCN for Neural Architecture Search [6.117917355232904]
  本稿では,RATs-NAS(Redirected Adjacent Trails NAS)を提案する。 RATs-NAS は Redirected Adjacent Trails GCN (RATs-GCN) と Predictor-based Search Space Sampling (P3S) モジュールの2つのコンポーネントから構成されている。
  論文  参考訳（メタデータ） (2023-05-07T07:13:33Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D Medical Image Segmentation using HyperNet [51.60655410423093]
  医用画像セグメンテーションのためのワンショットニューラルアーキテクチャサーチ(NAS)を実現するためにHyperSegNASを導入する。 従来のSOTA(State-of-the-art)セグメンテーションネットワークと比較して,HyperSegNASの方がパフォーマンスが高く,直感的なアーキテクチャが得られることを示す。 本手法は,MSD (Messical Decathlon) 課題の公開データセットを用いて評価し,SOTAの性能評価を行う。
  論文  参考訳（メタデータ） (2021-12-20T16:21:09Z)
• FLASH: Fast Neural Architecture Search with Hardware Optimization [7.263481020106725]
  ニューラルアーキテクチャサーチ(NAS)は、効率的かつ高性能なディープニューラルネットワーク(DNN)を設計するための有望な手法である 本稿では,実ハードウェアプラットフォーム上でのDNNの精度と性能を協調的に最適化する,非常に高速なNAS手法であるFLASHを提案する。
  論文  参考訳（メタデータ） (2021-08-01T23:46:48Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• LC-NAS: Latency Constrained Neural Architecture Search for Point Cloud Networks [73.78551758828294]
  LC-NASは、最小計算コストでポイントクラウド分類のための最先端アーキテクチャを見つけることができる。 検索したアーキテクチャが、適度に低い精度で、望ましいレイテンシを実現する方法を示します。
  論文  参考訳（メタデータ） (2020-08-24T10:30:21Z)
• TF-NAS: Rethinking Three Search Freedoms of Latency-Constrained Differentiable Neural Architecture Search [85.96350089047398]
  本研究では,3自由度NAS(TF-NAS)を提案する。 特に,検索したTF-NAS-Aは76.9%のTop-1精度を示し,レイテンシを低減した最新結果が得られる。
  論文  参考訳（メタデータ） (2020-08-12T13:44:20Z)
• HourNAS: Extremely Fast Neural Architecture Search Through an Hourglass Lens [125.39301622207674]
  ニューラルアーキテクチャサーチ(英: Neural Architecture Search、NAS)は、アーキテクチャを自動設計する手法である。 本稿では,この問題に対する時間ガラスインスパイアされたアプローチ (HourNAS) を提案する。 ImageNetの実験結果によると、1つのGPUで3時間(0.1日)しか使用できないため、HourNASは77.0%のTop-1精度を実現するアーキテクチャを検索できる。
  論文  参考訳（メタデータ） (2020-05-29T08:35:32Z)
• Fast Neural Network Adaptation via Parameter Remapping and Architecture Search [35.61441231491448]
  ディープニューラルネットワークは多くのコンピュータビジョンタスクにおいて顕著なパフォーマンスを達成する。 ほとんどの最新技術(SOTA)セマンティックセグメンテーションとオブジェクト検出アプローチは、バックボーンとしてイメージ分類用に設計されたニューラルネットワークアーキテクチャを再利用する。 しかし、大きな課題の1つは、画像Netによる検索空間表現の事前トレーニングが膨大な計算コストを発生させることである。 本稿では、シードネットワークのアーキテクチャとパラメータの両方を適応できる高速ニューラルネットワーク適応(FNA)手法を提案する。
  論文  参考訳（メタデータ） (2020-01-08T13:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。