論文の概要: Zero-Cost Proxies for Lightweight NAS

• arxiv url: http://arxiv.org/abs/2101.08134v1
• Date: Wed, 20 Jan 2021 13:59:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 01:31:43.586043
• Title: Zero-Cost Proxies for Lightweight NAS
• Title（参考訳）: 軽量NASのためのゼロコストプロキシ
• Authors: Mohamed S. Abdelfattah, Abhinav Mehrotra, {\L}ukasz Dudziak, Nicholas D. Lane
• Abstract要約: 本研究では,従来の還元学習プロキシを評価し,検索中における複数のモデル間のランキング保持率を定量化する。 モデルスコアを計算するために,トレーニングデータの1つのミニバッチのみを使用するゼロコストプロキシのシリーズを提案する。 ゼロコストプロキシは3桁の計算量が少ないが、従来のプロキシとマッチし、さらに優れています。
• 参考スコア（独自算出の注目度）: 19.906217380811373
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural Architecture Search (NAS) is quickly becoming the standard methodology to design neural network models. However, NAS is typically compute-intensive because multiple models need to be evaluated before choosing the best one. To reduce the computational power and time needed, a proxy task is often used for evaluating each model instead of full training. In this paper, we evaluate conventional reduced-training proxies and quantify how well they preserve ranking between multiple models during search when compared with the rankings produced by final trained accuracy. We propose a series of zero-cost proxies, based on recent pruning literature, that use just a single minibatch of training data to compute a model's score. Our zero-cost proxies use 3 orders of magnitude less computation but can match and even outperform conventional proxies. For example, Spearman's rank correlation coefficient between final validation accuracy and our best zero-cost proxy on NAS-Bench-201 is 0.82, compared to 0.61 for EcoNAS (a recently proposed reduced-training proxy). Finally, we use these zero-cost proxies to enhance existing NAS search algorithms such as random search, reinforcement learning, evolutionary search and predictor-based search. For all search methodologies and across three different NAS datasets, we are able to significantly improve sample efficiency, and thereby decrease computation, by using our zero-cost proxies. For example on NAS-Bench-101, we achieved the same accuracy 4$\times$ quicker than the best previous result.
• Abstract（参考訳）: neural architecture search(nas)は、ニューラルネットワークモデルを設計するための標準的な方法論になりつつある。 しかしながら、NASは通常、最高のモデルを選択する前に複数のモデルを評価する必要があるため、計算集約的である。 計算能力と時間を削減するため、完全なトレーニングではなく、各モデルを評価するためにプロキシタスクが頻繁に使用される。 本稿では,従来の還元学習プロキシを評価し,最終訓練精度によるランキングと比較し,探索中における複数のモデル間のランキング保持率を定量化する。 本稿では,モデルスコアの計算に,トレーニングデータのミニバッチを1つだけ使用した,最近のプルーニング文献に基づくゼロコストプロキシを提案する。 ゼロコストプロキシは3桁の計算量が少ないが、従来のプロキシとマッチし、さらに優れています。 例えば、NAS-Bench-201上での最適ゼロコストプロキシと最終検証精度の相関係数は、EcoNAS(最近提案された縮小学習プロキシ)の0.61と比べて0.82である。 最後に,これらゼロコストプロキシを用いてランダム検索,強化学習,進化的検索,予測型検索などの既存のnas検索アルゴリズムを強化する。 すべての探索手法と3つのNASデータセットに対して,ゼロコストプロキシを用いることで,サンプル効率を大幅に向上し,計算量を削減することができる。 例えばNAS-Bench-101では、最良な前の結果よりも4$\times$の精度を達成しました。

関連論文リスト

• TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search [1.30891455653235]
  TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。 TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。 TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
  論文  参考訳（メタデータ） (2024-03-30T07:25:30Z)
• SWAP-NAS: Sample-Wise Activation Patterns for Ultra-fast NAS [35.041289296298565]
  トレーニング不要のメトリクスは、リソース集約型ニューラルネットワークトレーニングを避けるために広く使用されている。 我々は,新しい高性能トレーニングフリーメトリックであるSWAP-ScoreとSample-Wise Activation Patternsを提案する。 SWAP-Scoreは,様々な検索空間やタスクの接地構造と強く相関している。
  論文  参考訳（メタデータ） (2024-03-07T02:40:42Z)
• Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities [58.67514819895494]
  ゼロショットNASアプローチの背景にある主要な考え方は、ネットワークパラメータを訓練することなく、与えられたネットワークの精度を予測できるプロキシを設計することである。 本稿では,SOTA (State-of-the-art) ゼロショットNASアプローチを総合的にレビューし,比較することを目的とする。
  論文  参考訳（メタデータ） (2023-07-05T03:07:00Z)
• Neural Architecture Search via Two Constant Shared Weights Initialisations [0.0]
  本研究では,NAS-Bench-101,NAS-Bench-201,NAS-Bench-NLPベンチマークデータセット間で,列車セットの精度と高い相関性を示すゼロコスト指標を提案する。 提案手法は既存のNASアルゴリズムに簡単に組み込むことができ,1つのネットワークを評価するのに1秒程度の時間を要する。
  論文  参考訳（メタデータ） (2023-02-09T02:25:38Z)
• ZiCo: Zero-shot NAS via Inverse Coefficient of Variation on Gradients [17.139381064317778]
  我々は、#Paramsよりも一貫して動作する新しいゼロショットプロキシZiCoを提案する。 ZiCoベースのNASは、それぞれ450M、600M、1000Mの予測予算で78.1%、79.4%、80.4%のテスト精度で最適なアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2023-01-26T18:38:56Z)
• $\beta$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable Architecture Search [96.99525100285084]
  DARTSに基づくNAS探索プロセス($beta$-DARTS)を正規化するための正規化手法であるBeta-Decayを提案する。 どのように動作するのか、なぜ動作するのかに関する詳細な理論的分析が提供される。
  論文  参考訳（メタデータ） (2023-01-16T12:30:32Z)
• FNAS: Uncertainty-Aware Fast Neural Architecture Search [54.49650267859032]
  強化学習(Reinforcement Learning, RL)に基づくニューラルアーキテクチャサーチ(NAS)は一般的に、収束性の向上を保証するが、巨大な計算資源の要求に悩まされる。 NASにおけるロールアウトプロセスとRLプロセスの収束を加速する汎用パイプラインを提案する。 Mobile Neural Architecture Search (MNAS)サーチスペースの実験では、提案するFast Neural Architecture Search (FNAS)が標準のRLベースのNASプロセスを10倍高速化することを示した。
  論文  参考訳（メタデータ） (2021-05-25T06:32:52Z)
• Efficient Sampling for Predictor-Based Neural Architecture Search [3.287802528135173]
  ニューラルネットワーク探索のための予測器に基づくNASアルゴリズムについて検討する。 探索空間のサブセットに対してのみプロキシが計算されると,予測アルゴリズムのサンプル効率が劇的に低下することを示す。 これは、実際に予測器ベースのNASアルゴリズムを有用にするための重要なステップである。
  論文  参考訳（メタデータ） (2020-11-24T11:36:36Z)
• Search What You Want: Barrier Panelty NAS for Mixed Precision Quantization [51.26579110596767]
  混合精度量子化のための新しいバリアペナルティベースNAS(BP-NAS)を提案する。 BP-NASは、分類(Cifar-10, ImageNet)と検出(COCO)の両方に基づいて芸術の新たな状態を設定する
  論文  参考訳（メタデータ） (2020-07-20T12:00:48Z)
• Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
  精度予測に非神経モデルを用いる別の手法について検討する。 我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。 NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
  論文  参考訳（メタデータ） (2020-07-09T13:28:49Z)
• EcoNAS: Finding Proxies for Economical Neural Architecture Search [130.59673917196994]
  本稿では、既存のほとんどのプロキシが、ネットワーク候補間のランク一貫性を維持する際に異なる振る舞いを示すことを観察する。 これらの観測から着想を得て、信頼性のあるプロキシを提案し、階層的なプロキシ戦略をさらに定式化する。 この戦略は、より正確な候補ネットワークにより多くの計算を費やす一方で、高速なプロキシで初期段階の未予測ネットワークを破棄する。
  論文  参考訳（メタデータ） (2020-01-05T13:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。