論文の概要: Profiling Neural Blocks and Design Spaces for Mobile Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2109.12426v1
• Date: Sat, 25 Sep 2021 19:34:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 15:49:06.391999
• Title: Profiling Neural Blocks and Design Spaces for Mobile Neural Architecture Search
• Title（参考訳）: モバイルニューラルアーキテクチャ探索のためのニューラルネットワークブロックと設計空間のプロファイリング
• Authors: Keith G. Mills, Fred X. Han, Jialin Zhang, Seyed Saeed Changiz Rezaei, Fabian Chudak, Wei Lu, Shuo Lian, Shangling Jui and Di Niu
• Abstract要約: Once-for-All(MobileNetV3)、ProxylessNAS、ResNetファミリを構築するために使用されるニューラルネットワークブロックを分析する。 探索空間を縮小した検索は、元の検索空間を探索するよりも、精度の高いレイテンシフロンティアを生成することを示す。
• 参考スコア（独自算出の注目度）: 21.48915618572691
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search automates neural network design and has achieved state-of-the-art results in many deep learning applications. While recent literature has focused on designing networks to maximize accuracy, little work has been conducted to understand the compatibility of architecture design spaces to varying hardware. In this paper, we analyze the neural blocks used to build Once-for-All (MobileNetV3), ProxylessNAS and ResNet families, in order to understand their predictive power and inference latency on various devices, including Huawei Kirin 9000 NPU, RTX 2080 Ti, AMD Threadripper 2990WX, and Samsung Note10. We introduce a methodology to quantify the friendliness of neural blocks to hardware and the impact of their placement in a macro network on overall network performance via only end-to-end measurements. Based on extensive profiling results, we derive design insights and apply them to hardware-specific search space reduction. We show that searching in the reduced search space generates better accuracy-latency Pareto frontiers than searching in the original search spaces, customizing architecture search according to the hardware. Moreover, insights derived from measurements lead to notably higher ImageNet top-1 scores on all search spaces investigated.
• Abstract（参考訳）: ニューラルアーキテクチャサーチは、ニューラルネットワーク設計を自動化し、多くのディープラーニングアプリケーションで最先端の結果を達成した。 近年の文献では、精度を最大化するためのネットワーク設計に焦点が当てられているが、様々なハードウェアに対するアーキテクチャ設計空間の互換性を理解するための作業はほとんど行われていない。 本稿では、Huawei Kirin 9000 NPU、RTX 2080 Ti、AMD Threadripper 2990WX、Samsung Note10などの様々なデバイスにおける予測パワーと推論遅延を理解するために、MobileNetV3、ProxylessNAS、ResNetファミリーを構築するために使用されるニューラルネットワークブロックを分析する。 本稿では,ニューラルブロックのハードウェアへの親しみ度とマクロネットワークへの配置がネットワーク全体の性能に与える影響を,エンドツーエンドの測定のみで定量化する手法を提案する。 広範なプロファイリング結果に基づいて,設計知見を導出し,ハードウェア固有の検索空間削減に適用する。 本研究では,検索スペースの削減により,従来の検索スペースよりも精度の高いパレートフロンティアが生成され,ハードウェアによるアーキテクチャ検索がカスタマイズされることを示す。 さらに、測定から得られた洞察は、調査されたすべての検索空間において、特に高いimagenet top-1スコアをもたらす。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• DONNAv2 -- Lightweight Neural Architecture Search for Vision tasks [6.628409795264665]
  計算効率の良いニューラルアーキテクチャ蒸留 - DONNAv2 のための次世代ニューラルアーキテクチャ設計について述べる。 DONNAv2は、より大きなデータセットに対して、DONNAの計算コストを10倍削減する。 NASサーチスペースの品質を向上させるため、DONNAv2はブロック知識蒸留フィルタを利用して推論コストの高いブロックを除去する。
  論文  参考訳（メタデータ） (2023-09-26T04:48:50Z)
• The Larger The Fairer? Small Neural Networks Can Achieve Fairness for Edge Devices [16.159547410954602]
  フェアネスに関する懸念は、顔認識やモバイル医療など、多くのアプリケーションで徐々に現れている。 本研究は、Fairness- and Hardware-aware Neural Architecture Searchフレームワーク、すなわちFaHaNaを提案する。 FaHaNaは皮膚科学データセット上で、より公平で精度の高い一連のニューラルネットワークを識別できることを示す。
  論文  参考訳（メタデータ） (2022-02-23T05:26:22Z)
• ISyNet: Convolutional Neural Networks design for AI accelerator [0.0]
  現在の最先端アーキテクチャは、モデル複雑さを考慮して、ニューラルアーキテクチャサーチ(NAS)によって発見されている。 本稿では,ニューラルネットワーク探索空間のハードウェア効率の指標として,行列効率測定(MEM),ハードウェア効率の高い演算からなる探索空間,レイテンシを考慮したスケーリング手法を提案する。 我々は、ImageNet上のNPUデバイスの設計アーキテクチャと、下流の分類および検出タスクの一般化能力の利点を示す。
  論文  参考訳（メタデータ） (2021-09-04T20:57:05Z)
• Does Form Follow Function? An Empirical Exploration of the Impact of Deep Neural Network Architecture Design on Hardware-Specific Acceleration [76.35307867016336]
  本研究では,深層ニューラルネットワーク設計が推論速度向上の程度に与える影響について検討する。 ハードウェア固有のアクセラレーションを活用することで平均推論速度が380%向上する一方で、マクロアーキテクチャ設計パターンによって推論速度が大幅に変化することを示した。
  論文  参考訳（メタデータ） (2021-07-08T23:05:39Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Distilling Optimal Neural Networks: Rapid Search in Diverse Spaces [16.920328058816338]
  DONNA(Distilling Optimal Neural Network Architectures)は、高速ニューラルネットワーク探索と探索空間探索のための新しいパイプラインである。 ImageNet分類では、DONNAが発見したアーキテクチャはNvidia V100 GPUのEfficientNet-B0やMobileNetV2よりも20%高速で、Samsung S20スマートフォンのMobileNetV2-1.4xよりも0.5%高速である。
  論文  参考訳（メタデータ） (2020-12-16T11:00:19Z)
• AttendNets: Tiny Deep Image Recognition Neural Networks for the Edge via Visual Attention Condensers [81.17461895644003]
  我々は、オンデバイス画像認識に適した、低精度でコンパクトなディープニューラルネットワークであるAttendNetsを紹介する。 AttendNetsは、視覚的注意の凝縮に基づく深い自己注意アーキテクチャを持っている。 その結果、AttendNetsは、いくつかのディープニューラルネットワークと比較して、アーキテクチャと計算の複雑さが著しく低いことが示された。
  論文  参考訳（メタデータ） (2020-09-30T01:53:17Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。