論文の概要: FOX-NAS: Fast, On-device and Explainable Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2108.08189v1
- Date: Sat, 14 Aug 2021 16:23:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-19 14:49:52.452155
- Title: FOX-NAS: Fast, On-device and Explainable Neural Architecture Search
- Title（参考訳）: FOX-NAS: 高速でオンデバイスで説明可能なニューラルアーキテクチャ検索
- Authors: Chia-Hsiang Liu, Yu-Shin Han, Yuan-Yao Sung, Yi Lee, Hung-Yueh Chiang,
Kai-Chiang Wu
- Abstract要約: ワンショットアプローチは通常、重み付けとアーキテクチャの性能を予測する予測器を備えたスーパーネットを必要とする。
我々の手法は量子化に適しており、効率的にエッジに展開できる。
FOX-NASは、DSP分類トラックのLPCVC(Low-Power Computer Vision Challenge)で3位を獲得した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural architecture search can discover neural networks with good
performance, and One-Shot approaches are prevalent. One-Shot approaches
typically require a supernet with weight sharing and predictors that predict
the performance of architecture. However, the previous methods take much time
to generate performance predictors thus are inefficient. To this end, we
propose FOX-NAS that consists of fast and explainable predictors based on
simulated annealing and multivariate regression. Our method is
quantization-friendly and can be efficiently deployed to the edge. The
experiments on different hardware show that FOX-NAS models outperform some
other popular neural network architectures. For example, FOX-NAS matches
MobileNetV2 and EfficientNet-Lite0 accuracy with 240% and 40% less latency on
the edge CPU. FOX-NAS is the 3rd place winner of the 2020 Low-Power Computer
Vision Challenge (LPCVC), DSP classification track. See all evaluation results
at https://lpcv.ai/competitions/2020. Search code and pre-trained models are
released at https://github.com/great8nctu/FOX-NAS.
- Abstract（参考訳）: ニューラルネットワーク検索は、優れたパフォーマンスを持つニューラルネットワークを見つけることができ、ワンショットアプローチが一般的です。
ワンショットアプローチは通常、重み付けとアーキテクチャのパフォーマンスを予測する予測器を備えたスーパーネットを必要とする。
しかし、従来の手法は性能予測器を生成するのに多くの時間がかかるため、非効率である。
そこで本研究では,シミュレーションアニーリングと多変量回帰に基づく高速かつ説明可能な予測器からなるFOX-NASを提案する。
本手法は量子化にやさしく,効率的にエッジに展開できる。
異なるハードウェア上での実験は、fox-nasモデルが他の一般的なニューラルネットワークアーキテクチャよりも優れていることを示している。
例えば、FOX-NASはMobileNetV2とEfficientNet-Lite0の精度を240%、エッジCPUの40%のレイテンシで一致させる。
FOX-NASは、2020年の低消費電力コンピュータビジョンチャレンジ(LPCVC)で3位を獲得した。
すべての評価結果はhttps://lpcv.ai/competitions/2020を参照。
検索コードと事前学習されたモデルはhttps://github.com/great8nctu/fox-nasでリリースされる。
関連論文リスト
- SalNAS: Efficient Saliency-prediction Neural Architecture Search with self-knowledge distillation [7.625269122161064]
近年の深部畳み込み型ニューラルネットワークの進歩により,サリエンシ予測の性能が大幅に向上した。
本稿では,2つのコントリビューションを持つ有能性予測のためのニューラルアーキテクチャ検索フレームワークを提案する。
自己KDを利用することで、SalNASは、ほとんどの評価ルーリックにおいて、他の最先端の精度予測モデルより優れている。
論文 参考訳（メタデータ） (2024-07-29T14:48:34Z) - PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search [34.06028035262884]
我々は、新しい進化型NAS戦略、Predictor-assisted E-NAS(PRE-NAS)を提案する。
Pre-NASは新しい進化的探索戦略を活用し、世代ごとに高忠実度重みの継承を統合する。
NAS-Bench-201とDARTSの探索実験により、Pre-NASは最先端のNAS法より優れていることが示された。
論文 参考訳（メタデータ） (2022-04-27T06:40:39Z) - Neural Architecture Search on ImageNet in Four GPU Hours: A
Theoretically Inspired Perspective [88.39981851247727]
トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。
TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。
1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
論文 参考訳（メタデータ） (2021-02-23T07:50:44Z) - Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-21T01:58:43Z) - Zen-NAS: A Zero-Shot NAS for High-Performance Deep Image Recognition [43.97052733871721]
ニューラルネットワーク探索(NAS)の重要なコンポーネントは、クエリされたアーキテクチャの精度を主張する精度予測器である。
精度予測器をZen-scoreという新しいモデル複雑度指数に置き換えることを提案する。
モデル精度を予測する代わりに、Zen-Scoreはパラメータをトレーニングすることなく、ネットワークのモデル複雑さを直接主張する。
論文 参考訳（メタデータ） (2021-02-01T18:53:40Z) - S3NAS: Fast NPU-aware Neural Architecture Search Methodology [2.607400740040335]
S3NASと呼ばれる高速なNPU対応NAS手法を提案し,既存のNASよりも高精度なCNNアーキテクチャを提案する。
TPUv3を使って3時間でネットワークを見つけることができ、11.66ミリ秒のレイテンシでImageNetの82.72%のトップ1の精度を示している。
論文 参考訳（メタデータ） (2020-09-04T04:45:50Z) - TF-NAS: Rethinking Three Search Freedoms of Latency-Constrained
Differentiable Neural Architecture Search [85.96350089047398]
本研究では,3自由度NAS(TF-NAS)を提案する。
特に,検索したTF-NAS-Aは76.9%のTop-1精度を示し,レイテンシを低減した最新結果が得られる。
論文 参考訳（メタデータ） (2020-08-12T13:44:20Z) - Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
精度予測に非神経モデルを用いる別の手法について検討する。
我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。
NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
論文 参考訳（メタデータ） (2020-07-09T13:28:49Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - FBNetV2: Differentiable Neural Architecture Search for Spatial and
Channel Dimensions [70.59851564292828]
微分可能なニューラルネットワーク探索(DNAS)は、最先端で効率的なニューラルネットワークの設計において大きな成功を収めている。
メモリと計算効率のよいDNAS変異体DMaskingNASを提案する。
このアルゴリズムは、検索スペースを従来のDNASよりも最大1014倍に拡張する。
論文 参考訳（メタデータ） (2020-04-12T08:52:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。