論文の概要: Searching for Fast Model Families on Datacenter Accelerators
- arxiv url: http://arxiv.org/abs/2102.05610v1
- Date: Wed, 10 Feb 2021 18:15:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-12 00:01:51.692284
- Title: Searching for Fast Model Families on Datacenter Accelerators
- Title（参考訳）: データセンターアクセラレータにおける高速モデルファミリの探索
- Authors: Sheng Li, Mingxing Tan, Ruoming Pang, Andrew Li, Liqun Cheng, Quoc Le,
Norman P. Jouppi
- Abstract要約: 高速かつ高精度なCNNモデルファミリをDC加速器上での効率的な推論のために探索する。
本稿では,待ち時間と待ち時間の両方を最適化するLACS法を提案する。
我々のLACSは、ネットワークの深さが画像サイズやネットワーク幅よりもはるかに速く成長することを発見した。
- 参考スコア（独自算出の注目度）: 33.28421782921072
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Architecture Search (NAS), together with model scaling, has shown
remarkable progress in designing high accuracy and fast convolutional
architecture families. However, as neither NAS nor model scaling considers
sufficient hardware architecture details, they do not take full advantage of
the emerging datacenter (DC) accelerators. In this paper, we search for fast
and accurate CNN model families for efficient inference on DC accelerators. We
first analyze DC accelerators and find that existing CNNs suffer from
insufficient operational intensity, parallelism, and execution efficiency.
These insights let us create a DC-accelerator-optimized search space, with
space-to-depth, space-to-batch, hybrid fused convolution structures with
vanilla and depthwise convolutions, and block-wise activation functions. On top
of our DC accelerator optimized neural architecture search space, we further
propose a latency-aware compound scaling (LACS), the first multi-objective
compound scaling method optimizing both accuracy and latency. Our LACS
discovers that network depth should grow much faster than image size and
network width, which is quite different from previous compound scaling results.
With the new search space and LACS, our search and scaling on datacenter
accelerators results in a new model series named EfficientNet-X. EfficientNet-X
is up to more than 2X faster than EfficientNet (a model series with
state-of-the-art trade-off on FLOPs and accuracy) on TPUv3 and GPUv100, with
comparable accuracy. EfficientNet-X is also up to 7X faster than recent RegNet
and ResNeSt on TPUv3 and GPUv100.
- Abstract（参考訳）: ニューラルネットワークアーキテクチャ検索(NAS)とモデルスケーリングは、高精度で迅速な畳み込みアーキテクチャファミリーの設計において顕著な進歩を示した。
しかし、NASもモデルスケーリングもハードウェアアーキテクチャの詳細を十分に考慮していないため、新興データセンター(DC)アクセラレーターを十分に活用していない。
本稿では,DC加速器上での効率的な推論のための高速で正確なCNNモデルファミリを探索する。
まずdc加速器の解析を行い,既存のcnnが動作強度,並列性,実行効率に乏しいことを発見した。
これらの洞察により、空間から空間へ、空間からバッチへ、バニラと深さ方向の畳み込みとハイブリッドな畳み込み構造とブロック方向のアクティベーション機能を備えたDCアクセラレータ最適化された検索空間を作成できます。
当社のdcアクセラレータ最適化ニューラルアーキテクチャ検索空間に加えて,精度とレイテンシの両方を最適化した,最初の多目的複合スケーリング手法であるlacs( latency-aware compound scaling)も提案する。
私たちのLACSは、ネットワーク深度が画像サイズやネットワーク幅よりもはるかに速く成長するべきであることを発見しました。
新しいサーチスペースとLACSにより、データセンターアクセラレーターの検索とスケーリングにより、EfficientNet-Xという新しいモデルシリーズが生まれます。
EfficientNet-X は TPUv3 と GPUv100 で EfficientNet (FLOPs と精度に関する最先端のトレードオフを持つモデルシリーズ) よりも最大2倍高速で、精度は同等である。
EfficientNet-Xは、TPUv3とGPUv100のRegNetやResNeStよりも7倍高速である。
関連論文リスト
- HASS: Hardware-Aware Sparsity Search for Dataflow DNN Accelerator [47.66463010685586]
本稿では,ソフトウェアとハードウェアの共同最適化を用いて,非構造的ウェイトとデータフローアクセラレーターの疎結合性を利用した新しい手法を提案する。
我々は既存のスパース設計と比較して1.3$times$から4.2$times$までの効率改善を実現している。
論文 参考訳（メタデータ） (2024-06-05T09:25:18Z) - DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit
CNNs [53.82853297675979]
バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。
自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。
本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
論文 参考訳（メタデータ） (2023-06-27T11:28:29Z) - KAPLA: Pragmatic Representation and Fast Solving of Scalable NN
Accelerator Dataflow [0.0]
汎用的で最適化され、高速なデータフロー解決器KAPLAを構築し、効果的な妥当性チェックと効率推定により設計空間を探索する。
KAPLAは、トレーニングと推論のための結果データフローにおいて、わずか2.2%と7.7%のエネルギーオーバーヘッドしか達成していない。
また、ランダムおよび機械学習ベースのアプローチよりも優れており、より最適化された結果と桁違いに高速な検索スピードアップを実現している。
論文 参考訳（メタデータ） (2023-06-09T03:12:42Z) - FLASH: Fast Neural Architecture Search with Hardware Optimization [7.263481020106725]
ニューラルアーキテクチャサーチ(NAS)は、効率的かつ高性能なディープニューラルネットワーク(DNN)を設計するための有望な手法である
本稿では,実ハードウェアプラットフォーム上でのDNNの精度と性能を協調的に最適化する,非常に高速なNAS手法であるFLASHを提案する。
論文 参考訳（メタデータ） (2021-08-01T23:46:48Z) - HANT: Hardware-Aware Network Transformation [82.54824188745887]
ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。
HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。
EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
論文 参考訳（メタデータ） (2021-07-12T18:46:34Z) - FuSeConv: Fully Separable Convolutions for Fast Inference on Systolic
Arrays [2.8583189395674653]
本稿では,深度的に分離可能な畳み込みの代替としてFuSeConvを提案する。
FuSeConvは、空間次元と深さ次元に沿って分離可能な1次元の畳み込みを完全に分解する。
我々は、画像Netデータセットに匹敵する精度で、64x64サイズのシストリックアレイ上で、MobileNetのネットワークファミリで3x-7xの大幅な高速化を実現した。
論文 参考訳（メタデータ） (2021-05-27T20:19:39Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳（メタデータ） (2021-03-08T03:09:37Z) - Trilevel Neural Architecture Search for Efficient Single Image
Super-Resolution [127.92235484598811]
本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。
離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。
階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-17T12:19:49Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳（メタデータ） (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。