論文の概要: Evaluating Efficient Performance Estimators of Neural Architectures
- arxiv url: http://arxiv.org/abs/2008.03064v5
- Date: Fri, 29 Oct 2021 10:05:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 01:28:51.797196
- Title: Evaluating Efficient Performance Estimators of Neural Architectures
- Title（参考訳）: ニューラルネットワークの性能推定器の評価
- Authors: Xuefei Ning, Changcheng Tang, Wenshuo Li, Zixuan Zhou, Shuang Liang,
Huazhong Yang, Yu Wang
- Abstract要約: ワンショット推定器(OSEs)は、すべてのアーキテクチャ間で1つの"スーパーネット"のパラメータを共有することで、アーキテクチャのトレーニングコストを減らします。
近年,ゼロショット推定器 (ZSE) が提案され, アーキテクチャ評価コストの低減が図られている。
これらの推定器の高効率性にもかかわらず、そのような推定の質は十分に研究されていない。
- 参考スコア（独自算出の注目度）: 17.80483885195404
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conducting efficient performance estimations of neural architectures is a
major challenge in neural architecture search (NAS). To reduce the architecture
training costs in NAS, one-shot estimators (OSEs) amortize the architecture
training costs by sharing the parameters of one "supernet" between all
architectures. Recently, zero-shot estimators (ZSEs) that involve no training
are proposed to further reduce the architecture evaluation cost. Despite the
high efficiency of these estimators, the quality of such estimations has not
been thoroughly studied. In this paper, we conduct an extensive and organized
assessment of OSEs and ZSEs on five NAS benchmarks: NAS-Bench-101/201/301, and
NDS ResNet/ResNeXt-A. Specifically, we employ a set of NAS-oriented criteria to
study the behavior of OSEs and ZSEs and reveal that they have certain biases
and variances. After analyzing how and why the OSE estimations are
unsatisfying, we explore how to mitigate the correlation gap of OSEs from
several perspectives. Through our analysis, we give out suggestions for future
application and development of efficient architecture performance estimators.
Furthermore, the analysis framework proposed in our work could be utilized in
future research to give a more comprehensive understanding of newly designed
architecture performance estimators. All codes are available at
https://github.com/walkerning/aw_nas.
- Abstract（参考訳）: ニューラルアーキテクチャーの効率的な性能推定を実行することは、ニューラルアーキテクチャーサーチ(NAS)の大きな課題である。
NASにおけるアーキテクチャトレーニングコストを低減するため、ワンショット推定器(OSE)は、すべてのアーキテクチャ間で1つの"スーパーネット"のパラメータを共有することで、アーキテクチャトレーニングコストを下げる。
近年,ゼロショット推定器 (ZSE) が提案され, アーキテクチャ評価コストの低減が図られている。
これらの推定器の高効率にもかかわらず、そのような推定の質は十分に研究されていない。
本稿では,NAS-Bench-101/201/301 と NDS ResNet/ResNeXt-A の 5 つのNAS ベンチマークで OSE と ZSE を広範囲に評価する。
具体的には,osとzsの挙動を研究するためにnas指向の基準を採用し,バイアスやばらつきがあることを明らかにした。
OSEの推定が不満足な理由を分析した結果、OSEの相関ギャップを複数の観点から緩和する方法について検討した。
分析を通じて,効率的なアーキテクチャ性能推定器の今後の応用と開発について提案する。
さらに,本研究で提案する分析フレームワークを今後の研究で活用し,新たに設計されたアーキテクチャ性能推定器をより包括的に理解することができる。
すべてのコードはhttps://github.com/walkerning/aw_nasで入手できる。
関連論文リスト
- Robustifying and Boosting Training-Free Neural Architecture Search [49.828875134088904]
本稿では,多種多様なタスクにおいて,頑健で一貫したパフォーマンスの指標を開発するために,トレーニング不要なNAS (RoBoT) アルゴリズムを提案する。
注目すべきは、我々のRoBoTの期待性能が理論的に保証され、既存のトレーニングフリーNASよりも改善されることだ。
論文 参考訳（メタデータ） (2024-03-12T12:24:11Z) - Learning Interpretable Models Through Multi-Objective Neural
Architecture Search [0.9990687944474739]
本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。
タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
論文 参考訳（メタデータ） (2021-12-16T05:50:55Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform
Successive Halving [74.61723678821049]
予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。
予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。
その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
論文 参考訳（メタデータ） (2021-08-18T07:45:21Z) - Accelerating Evolutionary Neural Architecture Search via Multi-Fidelity
Evaluation [5.754705118117044]
MFENASと呼ばれる多要素性評価による高速化ENASを提案する。
MFENASはNVIDIA 2080TI GPUのわずか0.6GPU日で2.39%のテストエラー率を達成する。
CIFAR-10の結果、提案されたMFENASによって得られたアーキテクチャは、わずか0.6GPU日で2.39%のテストエラー率を達成した。
論文 参考訳（メタデータ） (2021-08-10T09:32:26Z) - Homogeneous Architecture Augmentation for Neural Predictor [13.35821898997164]
ニューラル・アーキテクチャ・サーチ(NAS)は、手前のタスクのためにディープ・ニューラル・ニューラルネットワーク(DNN)の優れたアーキテクチャを自動で設計することができる。
NASのボトルネックの1つは、高価な性能評価のため、計算コストである。
その人気にもかかわらず、それらは、神経予測器を効果的に訓練するための注釈付きDNNアーキテクチャの不足という、深刻な制限を被っている。
論文 参考訳（メタデータ） (2021-07-28T03:46:33Z) - Contrastive Neural Architecture Search with Neural Architecture
Comparators [46.45102111497492]
neural architecture search(nas)における重要なステップの1つは、候補アーキテクチャのパフォーマンスを見積もることである。
既存のメソッドは、バリデーションパフォーマンスを直接使用するか、あるいは予測子を学習してパフォーマンスを見積もる。
本稿では,アーキテクチャ間の比較結果を報奨としてアーキテクチャ探索を行うCTNAS(Contrastive Neural Architecture Search)手法を提案する。
論文 参考訳（メタデータ） (2021-03-08T11:24:07Z) - Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-21T01:58:43Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳（メタデータ） (2020-04-23T14:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。