論文の概要: Weak NAS Predictors Are All You Need
- arxiv url: http://arxiv.org/abs/2102.10490v1
- Date: Sun, 21 Feb 2021 01:58:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-24 15:20:01.352152
- Title: Weak NAS Predictors Are All You Need
- Title（参考訳）: 弱めのNAS予測器は必要なだけ
- Authors: Junru Wu, Xiyang Dai, Dongdong Chen, Yinpeng Chen, Mengchen Liu, Ye
Yu, Zhangyang Wang, Zicheng Liu, Mei Chen, Lu Yuan
- Abstract要約: 最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
- 参考スコア（独自算出の注目度）: 91.11570424233709
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Architecture Search (NAS) finds the best network architecture by
exploring the architecture-to-performance manifold. It often trains and
evaluates a large number of architectures, causing tremendous computation
costs. Recent predictor-based NAS approaches attempt to solve this problem with
two key steps: sampling some architecture-performance pairs and fitting a proxy
accuracy predictor. Given limited samples, these predictors, however, are far
from accurate to locate top architectures. In this paper, we shift the paradigm
from finding a complicated predictor that covers the whole architecture space
to a set of weaker predictors that progressively move towards the
high-performance sub-space. It is based on the key property of the proposed
weak predictors that their probabilities of sampling better architectures keep
increasing. We thus only sample a few well-performed architectures guided by
the previously learned predictor and estimate a new better weak predictor. By
this coarse-to-fine iteration, the ranking of sampling space is refined
gradually, which helps find the optimal architectures eventually. Experiments
demonstrate that our method costs fewer samples to find the top-performance
architectures on NAS-Bench-101 and NAS-Bench-201, and it achieves the
state-of-the-art ImageNet performance on the NASNet search space. The code is
available at https://github.com/VITA-Group/WeakNAS
- Abstract（参考訳）: neural architecture search (nas)は、アーキテクチャとパフォーマンスの多様体を探索することで、最良のネットワークアーキテクチャを見つける。
しばしば多くのアーキテクチャを訓練し、評価し、膨大な計算コストを発生させる。
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップでこの問題を解決しようとする。
しかし、サンプルが限られているため、これらの予測器はトップアーキテクチャを見つけるにはほど遠い。
本稿では,アーキテクチャ空間全体をカバーする複雑な予測器の探索から,ハイパフォーマンスなサブ空間へと徐々に進む弱い予測器のセットへとパラダイムをシフトする。
提案する弱い予測器の鍵となる特性に基づいて、より良いアーキテクチャをサンプリングする確率が増加している。
したがって、以前に学習した予測器によって導かれたいくつかの優れたアーキテクチャをサンプリングし、新しい弱い予測器を推定する。
この粗い繰り返しにより、サンプリング空間のランク付けは徐々に洗練され、最終的には最適なアーキテクチャを見つけるのに役立つ。
NAS-Bench-101 および NAS-Bench-201 の最高性能アーキテクチャを見つけるのにサンプルのコストが少ないことを実証し、NASNet 検索空間における最先端の ImageNet 性能を実現します。
コードはhttps://github.com/VITA-Group/WeakNASで入手できます。
関連論文リスト
- Efficacy of Neural Prediction-Based Zero-Shot NAS [0.04096453902709291]
ディープラーニングを用いたゼロショットニューラルアーキテクチャ探索(NAS)の新しい手法を提案する。
提案手法では,畳み込みカーネルを符号化した罪のフーリエ和を用いて,評価対象のアーキテクチャに類似した構造を持つ計算フィードフォワードグラフの構築を可能にする。
実験の結果,NAS-Bench-201データセットの相関関係から,グラフ畳み込みネットワークを用いた従来の手法よりも高い収束率を示すことがわかった。
論文 参考訳（メタデータ） (2023-08-31T14:54:06Z) - GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。
そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
論文 参考訳（メタデータ） (2023-05-15T12:44:54Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision
of Weight Sharing [6.171090327531059]
空間から最高のアーキテクチャを選択するためのLearning to Rank手法を紹介します。
また,スーパーネットから得られた弱いラベルのアーキテクチャ表現を事前学習することで,重み共有から弱い管理を活用することを提案する。
NASベンチマークと大規模検索空間を用いた実験により,提案手法はSOTAよりも検索コストが大幅に削減された。
論文 参考訳（メタデータ） (2021-08-06T08:31:42Z) - Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。
我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。
KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
論文 参考訳（メタデータ） (2020-10-26T11:57:37Z) - Smooth Variational Graph Embeddings for Efficient Neural Architecture
Search [41.62970837629573]
本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。
ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
論文 参考訳（メタデータ） (2020-10-09T17:05:41Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳（メタデータ） (2020-04-23T14:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。