論文の概要: FBNetV2: Differentiable Neural Architecture Search for Spatial and Channel Dimensions

• arxiv url: http://arxiv.org/abs/2004.05565v1
• Date: Sun, 12 Apr 2020 08:52:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 04:56:09.461555
• Title: FBNetV2: Differentiable Neural Architecture Search for Spatial and Channel Dimensions
• Title（参考訳）: FBNetV2:空間次元とチャネル次元の微分可能なニューラルアーキテクチャ探索
• Authors: Alvin Wan, Xiaoliang Dai, Peizhao Zhang, Zijian He, Yuandong Tian, Saining Xie, Bichen Wu, Matthew Yu, Tao Xu, Kan Chen, Peter Vajda, Joseph E. Gonzalez
• Abstract要約: 微分可能なニューラルネットワーク探索(DNAS)は、最先端で効率的なニューラルネットワークの設計において大きな成功を収めている。 メモリと計算効率のよいDNAS変異体DMaskingNASを提案する。 このアルゴリズムは、検索スペースを従来のDNASよりも最大1014倍に拡張する。
• 参考スコア（独自算出の注目度）: 70.59851564292828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable Neural Architecture Search (DNAS) has demonstrated great success in designing state-of-the-art, efficient neural networks. However, DARTS-based DNAS's search space is small when compared to other search methods', since all candidate network layers must be explicitly instantiated in memory. To address this bottleneck, we propose a memory and computationally efficient DNAS variant: DMaskingNAS. This algorithm expands the search space by up to $10^{14}\times$ over conventional DNAS, supporting searches over spatial and channel dimensions that are otherwise prohibitively expensive: input resolution and number of filters. We propose a masking mechanism for feature map reuse, so that memory and computational costs stay nearly constant as the search space expands. Furthermore, we employ effective shape propagation to maximize per-FLOP or per-parameter accuracy. The searched FBNetV2s yield state-of-the-art performance when compared with all previous architectures. With up to 421$\times$ less search cost, DMaskingNAS finds models with 0.9% higher accuracy, 15% fewer FLOPs than MobileNetV3-Small; and with similar accuracy but 20% fewer FLOPs than Efficient-B0. Furthermore, our FBNetV2 outperforms MobileNetV3 by 2.6% in accuracy, with equivalent model size. FBNetV2 models are open-sourced at https://github.com/facebookresearch/mobile-vision.
• Abstract（参考訳）: 微分可能なニューラルネットワーク探索(DNAS)は、最先端で効率的なニューラルネットワークの設計において大きな成功を収めている。 しかし、ダーツベースのdnaの検索空間は、全ての候補ネットワーク層をメモリ内で明示的にインスタンス化しなければならないため、他の検索方法と比較すると小さい。 このボトルネックに対処するため,我々はメモリと計算効率のよいdna変異 dmaskingnas を提案する。 このアルゴリズムは、従来のdnaよりも最大10,^{14}\times$の検索空間を拡大し、入力解像度とフィルタ数という、その他に非常に高価である空間的およびチャネル的次元の検索をサポートする。 探索空間が拡大するにつれてメモリと計算コストがほぼ一定となるように,特徴マップ再利用のためのマスキング機構を提案する。 さらに,FLOP当たりの有効形状伝搬,パラメータごとの精度を最大化する。 検索されたFBNetV2は、以前のアーキテクチャと比較すると最先端の性能が得られる。 検索コストが最大421$\times$で、DMaskingNAS は MobileNetV3-Small よりも 0.9%高い精度で FLOP を 15% 削減し、同様の精度で FLOP を Efficient-B0 より20% 削減している。 さらに、FBNetV2はMobileNetV3の精度を2.6%上回り、モデルサイズは同等です。 FBNetV2モデルはhttps://github.com/facebookresearch/mobile-visionでオープンソース化されている。

関連論文リスト

• Multi-Objective Neural Architecture Search by Learning Search Space Partitions [8.4553113915588]
  ニューラルアーキテクチャ探索(NAS)タスクにLaMOOと呼ばれる新しいメタアルゴリズムを実装した。 LaMOOは、観測されたサンプルからモデルを学び、検索空間を分割し、将来性のある領域に集中することによって、検索プロセスを高速化する。 現実世界のタスクでは、LaMOOの精度は97.36%、CIFAR10の#Paramsはわずか600のサンプルで1.62万である。
  論文  参考訳（メタデータ） (2024-06-01T03:51:34Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• Distilling Optimal Neural Networks: Rapid Search in Diverse Spaces [16.920328058816338]
  DONNA(Distilling Optimal Neural Network Architectures)は、高速ニューラルネットワーク探索と探索空間探索のための新しいパイプラインである。 ImageNet分類では、DONNAが発見したアーキテクチャはNvidia V100 GPUのEfficientNet-B0やMobileNetV2よりも20%高速で、Samsung S20スマートフォンのMobileNetV2-1.4xよりも0.5%高速である。
  論文  参考訳（メタデータ） (2020-12-16T11:00:19Z)
• FP-NAS: Fast Probabilistic Neural Architecture Search [49.21560787752714]
  PARSECのような確率的NASは高性能アーキテクチャ上の分布を学習し、単一のモデルをトレーニングするのに必要なメモリだけを使用する。 本稿では,分布エントロピーに適応したサンプリング手法を提案する。 FP-NAS(Fast Probabilistic NAS)はアーキテクチャを64%削減し、PARSECより2.1倍高速に検索できることを示す。
  論文  参考訳（メタデータ） (2020-11-22T06:10:05Z)
• PV-NAS: Practical Neural Architecture Search for Video Recognition [83.77236063613579]
  ビデオタスクのためのディープニューラルネットワークは高度にカスタマイズされており、そのようなネットワークの設計にはドメインの専門家と高価な試行錯誤テストが必要である。 ネットワークアーキテクチャ検索の最近の進歩により、画像認識性能は大幅に向上した。 本研究では,実用的ビデオニューラルアーキテクチャ探索(PV-NAS)を提案する。
  論文  参考訳（メタデータ） (2020-11-02T08:50:23Z)
• Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
  精度予測に非神経モデルを用いる別の手法について検討する。 我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。 NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
  論文  参考訳（メタデータ） (2020-07-09T13:28:49Z)
• Fine-Grained Stochastic Architecture Search [6.277767522867666]
  Fine-Grained Architecture Search (FiGS) は、より大きな候補アーキテクチャの集合を探索する微分可能な検索手法である。 FiGSは、構造化スパース正規化ペナルティを適用して、検索空間内の演算子を同時に選択・変更する。 既存の3つの検索空間にまたがって結果を示し、元の検索アルゴリズムのマッチングや性能を向上する。
  論文  参考訳（メタデータ） (2020-06-17T01:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。