論文の概要: Zen-NAS: A Zero-Shot NAS for High-Performance Deep Image Recognition

• arxiv url: http://arxiv.org/abs/2102.01063v1
• Date: Mon, 1 Feb 2021 18:53:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 19:52:26.994465
• Title: Zen-NAS: A Zero-Shot NAS for High-Performance Deep Image Recognition
• Title（参考訳）: Zen-NAS: 高速画像認識のためのゼロショットNAS
• Authors: Ming Lin, Pichao Wang, Zhenhong Sun, Hesen Chen, Xiuyu Sun, Qi Qian, Hao Li, Rong Jin
• Abstract要約: ニューラルネットワーク探索(NAS)の重要なコンポーネントは、クエリされたアーキテクチャの精度を主張する精度予測器である。 精度予測器をZen-scoreという新しいモデル複雑度指数に置き換えることを提案する。 モデル精度を予測する代わりに、Zen-Scoreはパラメータをトレーニングすることなく、ネットワークのモデル複雑さを直接主張する。
• 参考スコア（独自算出の注目度）: 43.97052733871721
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key component in Neural Architecture Search (NAS) is an accuracy predictor which asserts the accuracy of a queried architecture. To build a high quality accuracy predictor, conventional NAS algorithms rely on training a mass of architectures or a big supernet. This step often consumes hundreds to thousands of GPU days, dominating the total search cost. To address this issue, we propose to replace the accuracy predictor with a novel model-complexity index named Zen-score. Instead of predicting model accuracy, Zen-score directly asserts the model complexity of a network without training its parameters. This is inspired by recent advances in deep learning theories which show that model complexity of a network positively correlates to its accuracy on the target dataset. The computation of Zen-score only takes a few forward inferences through a randomly initialized network using random Gaussian input. It is applicable to any Vanilla Convolutional Neural Networks (VCN-networks) or compatible variants, covering a majority of networks popular in real-world applications. When combining Zen-score with Evolutionary Algorithm, we obtain a novel Zero-Shot NAS algorithm named Zen-NAS. We conduct extensive experiments on CIFAR10/CIFAR100 and ImageNet. In summary, Zen-NAS is able to design high performance architectures in less than half GPU day (12 GPU hours). The resultant networks, named ZenNets, achieve up to $83.0\%$ top-1 accuracy on ImageNet. Comparing to EfficientNets-B3/B5 of the same or better accuracies, ZenNets are up to $5.6$ times faster on NVIDIA V100, $11$ times faster on NVIDIA T4, $2.6$ times faster on Google Pixel2 and uses $50\%$ less FLOPs. Our source code and pre-trained models are released on https://github.com/idstcv/ZenNAS.
• Abstract（参考訳）: neural architecture search (nas) の重要なコンポーネントは、クエリされたアーキテクチャの精度を主張する精度予測器である。 高品質な精度予測器を構築するために、従来のNASアルゴリズムは大量のアーキテクチャや大きなスーパーネットを訓練する。 このステップは数百から数千のGPU日を消費し、総検索コストを上回ります。 そこで本研究では,精度予測器をZen-scoreという新しいモデル複雑性指標に置き換えることを提案する。 モデルの精度を予測する代わりに、Zen-scoreはパラメータを訓練せずにネットワークのモデルの複雑さを直接主張します。 これは、ネットワークのモデル複雑さがターゲットデータセットの精度と正に相関していることを示すディープラーニング理論の最近の進歩にインスパイアされている。 zen-score の計算はランダムなガウス入力を用いたランダム初期化ネットワークによる数回の前方推論しか行わない。 これは、Vanilla Convolutional Neural Networks(VCN-networks)または互換の亜種に適用でき、現実世界のアプリケーションで人気のあるネットワークの大部分をカバーする。 Zen-ScoreとEvolutionary Algorithmを組み合わせると、Zen-NASという新しいZero-Shot NASアルゴリズムが得られる。 CIFAR10/CIFAR100とImageNetについて広範な実験を行った。 要約すると、Zen-NASは半GPU日(12GPU時間)未満で高性能アーキテクチャを設計することができる。 結果、ZenNetsという名前のネットワークは、ImageNet上で最大83.0\%$ top-1精度を達成する。 同じまたはより良い精度のEfficientNets-B3/B5と比較して、ZenNetsはNVIDIA V100の5.6$の速度、NVIDIA T4の111$の速度、Google Pixel2の2.6$の速度、および50\%$の少ないFLOPを使用しています。 ソースコードと事前トレーニング済みモデルはhttps://github.com/idstcv/zennasでリリースしています。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities [58.67514819895494]
  ゼロショットNASアプローチの背景にある主要な考え方は、ネットワークパラメータを訓練することなく、与えられたネットワークの精度を予測できるプロキシを設計することである。 本稿では,SOTA (State-of-the-art) ゼロショットNASアプローチを総合的にレビューし,比較することを目的とする。
  論文  参考訳（メタデータ） (2023-07-05T03:07:00Z)
• Neural Architecture Search via Two Constant Shared Weights Initialisations [0.0]
  本研究では,NAS-Bench-101,NAS-Bench-201,NAS-Bench-NLPベンチマークデータセット間で,列車セットの精度と高い相関性を示すゼロコスト指標を提案する。 提案手法は既存のNASアルゴリズムに簡単に組み込むことができ,1つのネットワークを評価するのに1秒程度の時間を要する。
  論文  参考訳（メタデータ） (2023-02-09T02:25:38Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• ZiCo: Zero-shot NAS via Inverse Coefficient of Variation on Gradients [17.139381064317778]
  我々は、#Paramsよりも一貫して動作する新しいゼロショットプロキシZiCoを提案する。 ZiCoベースのNASは、それぞれ450M、600M、1000Mの予測予算で78.1%、79.4%、80.4%のテスト精度で最適なアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2023-01-26T18:38:56Z)
• Revisiting Efficient Object Detection Backbones from Zero-Shot Neural Architecture Search [34.88658308647129]
  オブジェクト検出モデルでは、検出バックボーンは全体の推論コストの半分以上を消費する。 この問題に対処する新しいゼロショットNAS法を提案する。 提案手法はZenDetと呼ばれ,ネットワークパラメータを訓練することなく,効率的な検出バックボーンを自動設計する。
  論文  参考訳（メタデータ） (2021-11-26T07:18:52Z)
• Pi-NAS: Improving Neural Architecture Search by Reducing Supernet Training Consistency Shift [128.32670289503025]
  最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。 アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。 このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。 この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
  論文  参考訳（メタデータ） (2021-08-22T09:08:48Z)
• FOX-NAS: Fast, On-device and Explainable Neural Architecture Search [0.0]
  ワンショットアプローチは通常、重み付けとアーキテクチャの性能を予測する予測器を備えたスーパーネットを必要とする。 我々の手法は量子化に適しており、効率的にエッジに展開できる。 FOX-NASは、DSP分類トラックのLPCVC(Low-Power Computer Vision Challenge)で3位を獲得した。
  論文  参考訳（メタデータ） (2021-08-14T16:23:13Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• Fast Neural Network Adaptation via Parameter Remapping and Architecture Search [35.61441231491448]
  ディープニューラルネットワークは多くのコンピュータビジョンタスクにおいて顕著なパフォーマンスを達成する。 ほとんどの最新技術(SOTA)セマンティックセグメンテーションとオブジェクト検出アプローチは、バックボーンとしてイメージ分類用に設計されたニューラルネットワークアーキテクチャを再利用する。 しかし、大きな課題の1つは、画像Netによる検索空間表現の事前トレーニングが膨大な計算コストを発生させることである。 本稿では、シードネットワークのアーキテクチャとパラメータの両方を適応できる高速ニューラルネットワーク適応(FNA)手法を提案する。
  論文  参考訳（メタデータ） (2020-01-08T13:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。