論文の概要: Zero-Cost Proxies for Lightweight NAS

• arxiv url: http://arxiv.org/abs/2101.08134v1
• Date: Wed, 20 Jan 2021 13:59:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 01:31:43.586043
• Title: Zero-Cost Proxies for Lightweight NAS
• Title（参考訳）: 軽量NASのためのゼロコストプロキシ
• Authors: Mohamed S. Abdelfattah, Abhinav Mehrotra, {\L}ukasz Dudziak, Nicholas D. Lane
• Abstract要約: 本研究では,従来の還元学習プロキシを評価し,検索中における複数のモデル間のランキング保持率を定量化する。 モデルスコアを計算するために,トレーニングデータの1つのミニバッチのみを使用するゼロコストプロキシのシリーズを提案する。 ゼロコストプロキシは3桁の計算量が少ないが、従来のプロキシとマッチし、さらに優れています。
• 参考スコア（独自算出の注目度）: 19.906217380811373
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural Architecture Search (NAS) is quickly becoming the standard methodology to design neural network models. However, NAS is typically compute-intensive because multiple models need to be evaluated before choosing the best one. To reduce the computational power and time needed, a proxy task is often used for evaluating each model instead of full training. In this paper, we evaluate conventional reduced-training proxies and quantify how well they preserve ranking between multiple models during search when compared with the rankings produced by final trained accuracy. We propose a series of zero-cost proxies, based on recent pruning literature, that use just a single minibatch of training data to compute a model's score. Our zero-cost proxies use 3 orders of magnitude less computation but can match and even outperform conventional proxies. For example, Spearman's rank correlation coefficient between final validation accuracy and our best zero-cost proxy on NAS-Bench-201 is 0.82, compared to 0.61 for EcoNAS (a recently proposed reduced-training proxy). Finally, we use these zero-cost proxies to enhance existing NAS search algorithms such as random search, reinforcement learning, evolutionary search and predictor-based search. For all search methodologies and across three different NAS datasets, we are able to significantly improve sample efficiency, and thereby decrease computation, by using our zero-cost proxies. For example on NAS-Bench-101, we achieved the same accuracy 4$\times$ quicker than the best previous result.
• Abstract（参考訳）: neural architecture search(nas)は、ニューラルネットワークモデルを設計するための標準的な方法論になりつつある。 しかしながら、NASは通常、最高のモデルを選択する前に複数のモデルを評価する必要があるため、計算集約的である。 計算能力と時間を削減するため、完全なトレーニングではなく、各モデルを評価するためにプロキシタスクが頻繁に使用される。 本稿では,従来の還元学習プロキシを評価し,最終訓練精度によるランキングと比較し,探索中における複数のモデル間のランキング保持率を定量化する。 本稿では,モデルスコアの計算に,トレーニングデータのミニバッチを1つだけ使用した,最近のプルーニング文献に基づくゼロコストプロキシを提案する。 ゼロコストプロキシは3桁の計算量が少ないが、従来のプロキシとマッチし、さらに優れています。 例えば、NAS-Bench-201上での最適ゼロコストプロキシと最終検証精度の相関係数は、EcoNAS(最近提案された縮小学習プロキシ)の0.61と比べて0.82である。 最後に,これらゼロコストプロキシを用いてランダム検索,強化学習,進化的検索,予測型検索などの既存のnas検索アルゴリズムを強化する。 すべての探索手法と3つのNASデータセットに対して,ゼロコストプロキシを用いることで,サンプル効率を大幅に向上し,計算量を削減することができる。 例えばNAS-Bench-101では、最良な前の結果よりも4$\times$の精度を達成しました。

関連論文リスト

• Less is More: Proxy Datasets in NAS approaches [4.266320191208303]
  ニューラルアーキテクチャサーチ(NAS)は、サーチ問題としてニューラルネットワークの設計を定義する。 NASは、設計における要素の数によって様々な可能性のために、計算的に集約されている。 本研究は,データセットサイズ削減のためのサンプリング手法を用いて,データセットサイズの役割を広範囲に分析する。
  論文  参考訳（メタデータ） (2022-03-14T07:58:12Z)
• Model Architecture Adaption for Bayesian Neural Networks [9.978961706999833]
  我々はBNNを精度と不確実性の両方に最適化する新しいネットワークアーキテクチャサーチ(NAS)を示す。 我々の実験では,探索されたモデルでは,最先端(ディープアンサンブル)と比較して,不確実性と精度が比較できる。
  論文  参考訳（メタデータ） (2022-02-09T10:58:50Z)
• Cascade Bagging for Accuracy Prediction with Few Training Samples [8.373420721376739]
  少数のトレーニングサンプルの下で精度予測器を訓練するための新しいフレームワークを提案する。 このフレームワークは、データ拡張方法とアンサンブル学習アルゴリズムからなる。
  論文  参考訳（メタデータ） (2021-08-12T09:10:52Z)
• Core-set Sampling for Efficient Neural Architecture Search [12.272975892517039]
  本稿では,データキュレーションの方法に基づいて問題を定式化しようと試みる。 我々の主要な戦略は、要約されたデータ分布、すなわちコアセットを使ってアーキテクチャを探索することである。 実験では,計算時間を30.8時間から3.5時間,8.8倍に短縮することができた。
  論文  参考訳（メタデータ） (2021-07-08T06:19:18Z)
• Accelerating Neural Architecture Search via Proxy Data [17.86463546971522]
  ニューラルアーキテクチャ探索(NAS)に適した新しいプロキシデータ選択法を提案する。 提案された選択でDARTSを実行するには、CIFAR-10で40分、単一のGPUでImageNetで7.5時間しかかからない。 提案した選択を用いてImageNetで検索したアーキテクチャが逆CIFAR-10に転送されると、2.4%の最先端テストエラーが生成される。
  論文  参考訳（メタデータ） (2021-06-09T03:08:53Z)
• FNAS: Uncertainty-Aware Fast Neural Architecture Search [54.49650267859032]
  強化学習(Reinforcement Learning, RL)に基づくニューラルアーキテクチャサーチ(NAS)は一般的に、収束性の向上を保証するが、巨大な計算資源の要求に悩まされる。 NASにおけるロールアウトプロセスとRLプロセスの収束を加速する汎用パイプラインを提案する。 Mobile Neural Architecture Search (MNAS)サーチスペースの実験では、提案するFast Neural Architecture Search (FNAS)が標準のRLベースのNASプロセスを10倍高速化することを示した。
  論文  参考訳（メタデータ） (2021-05-25T06:32:52Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Prioritized Architecture Sampling with Monto-Carlo Tree Search [54.72096546595955]
  ワンショットニューラルアーキテクチャサーチ(NAS)法は,検索空間全体を1つのネットワークとして考えることにより,検索コストを大幅に削減する。 本稿では,モンテカルロ木(MCT)をモデルとした探索空間を用いたモンテカルロ木探索(MCTS)に基づくサンプリング戦略について紹介する。 公平な比較のために、CIFAR-10で評価されたマクロ検索空間、すなわちNAS-Bench-MacroのオープンソースNASベンチマークを構築する。
  論文  参考訳（メタデータ） (2021-03-22T15:09:29Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。