論文の概要: NetAdaptV2: Efficient Neural Architecture Search with Fast Super-Network
Training and Architecture Optimization
- arxiv url: http://arxiv.org/abs/2104.00031v1
- Date: Wed, 31 Mar 2021 18:03:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-02 13:52:21.678639
- Title: NetAdaptV2: Efficient Neural Architecture Search with Fast Super-Network
Training and Architecture Optimization
- Title（参考訳）: NetAdaptV2: 高速なスーパーネットワークトレーニングとアーキテクチャ最適化による効率的なニューラルネットワーク探索
- Authors: Tien-Ju Yang, Yi-Lun Liao, Vivienne Sze
- Abstract要約: NetAdaptV2には、3つのイノベーションがあり、各ステップに費やす時間をバランスさせながら、差別化不可能な検索メトリクスをサポートします。
まず,ネットワーク深度と層幅を1つの検索次元にマージするチャネルレベルのバイパス接続を提案する。
第2に,複数のdnnを単一のフォワードバックパスでトレーニングし,スーパーネットワークのトレーニング時間を短縮するために,順序付きドロップアウトを提案する。
- 参考スコア（独自算出の注目度）: 15.63765190153914
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural architecture search (NAS) typically consists of three main steps:
training a super-network, training and evaluating sampled deep neural networks
(DNNs), and training the discovered DNN. Most of the existing efforts speed up
some steps at the cost of a significant slowdown of other steps or sacrificing
the support of non-differentiable search metrics. The unbalanced reduction in
the time spent per step limits the total search time reduction, and the
inability to support non-differentiable search metrics limits the performance
of discovered DNNs.
In this paper, we present NetAdaptV2 with three innovations to better balance
the time spent for each step while supporting non-differentiable search
metrics. First, we propose channel-level bypass connections that merge network
depth and layer width into a single search dimension to reduce the time for
training and evaluating sampled DNNs. Second, ordered dropout is proposed to
train multiple DNNs in a single forward-backward pass to decrease the time for
training a super-network. Third, we propose the multi-layer coordinate descent
optimizer that considers the interplay of multiple layers in each iteration of
optimization to improve the performance of discovered DNNs while supporting
non-differentiable search metrics. With these innovations, NetAdaptV2 reduces
the total search time by up to $5.8\times$ on ImageNet and $2.4\times$ on NYU
Depth V2, respectively, and discovers DNNs with better
accuracy-latency/accuracy-MAC trade-offs than state-of-the-art NAS works.
Moreover, the discovered DNN outperforms NAS-discovered MobileNetV3 by 1.8%
higher top-1 accuracy with the same latency. The project website is
http://netadapt.mit.edu.
- Abstract（参考訳）: ニューラルネットワーク探索(NAS)は通常、スーパーネットワークのトレーニング、サンプルニューラルネットワーク(DNN)のトレーニングと評価、発見されたDNNのトレーニングという3つの主要なステップで構成される。
既存の取り組みのほとんどは、他のステップの大幅な減速や、差別化不可能な検索メトリクスのサポートを犠牲にして、いくつかのステップをスピードアップする。
ステップごとの時間の非バランスな削減は、検索時間全体の削減を制限し、非微分不可能な検索メトリクスをサポートすることができないことは、発見されたDNNの性能を制限する。
本稿では,netadaptv2に3つのイノベーションを加えて,非微分可能な検索メトリクスをサポートしながら,各ステップに費やした時間をバランスさせる手法を提案する。
まず,ネットワークの深さと層幅を単一の探索次元にマージし,サンプルdnnの訓練と評価に要する時間を短縮するチャネルレベルのバイパス接続を提案する。
第2に,複数のdnnを単一のフォワードバックパスでトレーニングし,スーパーネットワークのトレーニング時間を短縮するために,順序付きドロップアウトを提案する。
第3に,DNNの探索性能を向上させるために,複数レイヤ間の相互接続を考慮した多層座標降下最適化手法を提案する。
これらの革新により、NetAdaptV2は、ImageNetで最大5.8\times$、NYU Depth V2で2.4\times$まで検索時間を短縮し、最先端のNASよりも高い精度の遅延/精度-MACトレードオフを持つDNNを発見する。
さらに、発見されたDNNは、NASが発見したMobileNetV3を、同じレイテンシで1.8%高いトップ1精度で上回っている。
プロジェクトのWebサイトはhttp://netadapt.mit.edu。
関連論文リスト
- Optimizing DNN Inference on Multi-Accelerator SoCs at Training-time [5.05866540830123]
我々は,様々なチップのCUの中から,ディープニューラルネットワーク(DNN)の細粒度マッピングを効率的に探索するハードウェア認識ツールであるODiMOを提案する。
ODiMOはDarkside上で実行されるDNNの遅延を、手動のマッピングに比べて最大8倍の精度で削減することを示す。
エネルギーを目標とする場合、ODiMOはより効率的なマッピングを最大50.8倍に生成し、精度は最小限に抑えた。
論文 参考訳（メタデータ） (2024-09-27T09:10:44Z) - Highly Efficient SNNs for High-speed Object Detection [7.3074002563489024]
実験結果から, 物体検出タスクにおいて, 1.5MBのパラメータしか持たないGPU上で, 効率的なSNNが118倍の高速化を実現できることが示唆された。
FPGAプラットフォーム上でのSNNをさらに検証し,800以上のFPSオブジェクトを極めて低レイテンシで検出できるモデルを提案する。
論文 参考訳（メタデータ） (2023-09-27T10:31:12Z) - Ultra-low Latency Adaptive Local Binary Spiking Neural Network with
Accuracy Loss Estimator [4.554628904670269]
精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。
実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
論文 参考訳（メタデータ） (2022-07-31T09:03:57Z) - Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization [30.098268054714048]
非同期離散イベントで動作するスパイキングニューラルネットワーク(SNN)は、スパース計算によるエネルギー効率の向上を示す。
ディープSNNを実装するための一般的なアプローチは、ANNの効率的なトレーニングとSNNの効率的な推論を組み合わせたANN-SNN変換である。
本稿では,SNNにおける負または過フロー残留膜電位の誤表現に起因する性能劣化を最初に同定する。
そこで我々は,変換誤差を量子化誤差,クリッピング誤差,残留膜電位表現誤差の3つの部分に分解した。
論文 参考訳（メタデータ） (2022-05-16T06:53:14Z) - Sub-bit Neural Networks: Learning to Compress and Accelerate Binary
Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。
SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。
ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文 参考訳（メタデータ） (2021-10-18T11:30:29Z) - HANT: Hardware-Aware Network Transformation [82.54824188745887]
ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。
HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。
EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
論文 参考訳（メタデータ） (2021-07-12T18:46:34Z) - OPANAS: One-Shot Path Aggregation Network Architecture Search for Object
Detection [82.04372532783931]
近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。
本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-08T01:48:53Z) - DNA: Differentiable Network-Accelerator Co-Search [36.68587348474986]
そこで我々は,一致したネットワークやアクセラレータを自動的に検索する,差別化可能なネットワーク加速器のコサーチフレームワークであるDNAを提案する。
1)DNNアクセラレータの汎用設計スペースと、アルゴリズム探索を可能にするPyTorchなどのDNNフレームワークとの互換性。
実験およびアブレーション研究により、DNAによって生成されたマッチングネットワークと加速器は、常に最先端(SOTA)のDNNや加速器より優れていることが示されている。
論文 参考訳（メタデータ） (2020-10-28T05:57:16Z) - FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。
そこで本研究では、3次内積の計算複雑性を2。
性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文 参考訳（メタデータ） (2020-08-12T04:26:18Z) - Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。
DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。
300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
論文 参考訳（メタデータ） (2020-07-17T08:32:11Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。