論文の概要: Neural Architecture Ranker
- arxiv url: http://arxiv.org/abs/2201.12725v1
- Date: Sun, 30 Jan 2022 04:54:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-02 09:43:57.241238
- Title: Neural Architecture Ranker
- Title（参考訳）: ニューラルネットワークランカ
- Authors: Bicheng Guo, Shibo He, Tao Chen, Jiming Chen, Peng Ye
- Abstract要約: アーキテクチャランキングは、最近、ニューラルネットワークサーチ(NAS)のための効率的で効果的なパフォーマンス予測器を設計することを提唱されている。
成層層化にインスパイアされた予測器,すなわちニューラルランサー(NAR)を提案する。
- 参考スコア（独自算出の注目度）: 19.21631623578852
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Architecture ranking has recently been advocated to design an efficient and
effective performance predictor for Neural Architecture Search (NAS). The
previous contrastive method solves the ranking problem by comparing pairs of
architectures and predicting their relative performance, which may suffer
generalization issues due to local pair-wise comparison. Inspired by the
quality stratification phenomenon in the search space, we propose a predictor,
namely Neural Architecture Ranker (NAR), from a new and global perspective by
exploiting the quality distribution of the whole search space. The NAR learns
the similar characteristics of the same quality tier (i.e., level) and
distinguishes among different individuals by first matching architectures with
the representation of tiers, and then classifying and scoring them. It can
capture the features of different quality tiers and thus generalize its ranking
ability to the entire search space. Besides, distributions of different quality
tiers are also beneficial to guide the sampling procedure, which is free of
training a search algorithm and thus simplifies the NAS pipeline. The proposed
NAR achieves better performance than the state-of-the-art methods on two widely
accepted datasets. On NAS-Bench-101, it finds the architectures with top
0.01$\unicode{x2030}$ performance among the search space and stably focuses on
the top architectures. On NAS-Bench-201, it identifies the optimal
architectures on CIFAR-10, CIFAR-100 and, ImageNet-16-120. We expand and
release these two datasets covering detailed cell computational information to
boost the study of NAS.
- Abstract（参考訳）: アーキテクチャランキング(architecture ranking)は、ニューラルネットワーク検索(nas)のための効率的かつ効果的なパフォーマンス予測器の設計を提唱されている。
従来のコントラスト法では,局所的なペアワイズ比較による一般化問題に悩まされるアーキテクチャのペアを比較し,相対的な性能を予測することでランキング問題を解く。
探索空間における品質階層化現象に着想を得て,探索空間全体の品質分布を利用して,新しいグローバルな視点から予測器であるニューラルアーキテクチャランサー(NAR)を提案する。
NARは、同じ品質層(レベル)の類似した特性を学び、まず、階層の表現とアーキテクチャをマッチングし、それらを分類し、評価することで、異なる個人を区別する。
異なる品質階層の特徴をキャプチャして、そのランク付け能力を検索空間全体に一般化することができる。
さらに,探索アルゴリズムを訓練することなくNASパイプラインを簡素化するサンプリング手順の導出にも,異なる品質階層の分布が有用である。
提案したNARは、2つの広く受け入れられたデータセットの最先端手法よりも優れた性能を実現する。
NAS-Bench-101では、検索空間間のパフォーマンスが0.01$\unicode{x2030}$で、安定してトップアーキテクチャに焦点を当てている。
NAS-Bench-201では、CIFAR-10、CIFAR-100、ImageNet-16-120の最適アーキテクチャを特定している。
我々は、NASの研究を促進するために、詳細なセル計算情報をカバーするこの2つのデータセットを拡張し、リリースする。
関連論文リスト
- A General-Purpose Transferable Predictor for Neural Architecture Search [22.883809911265445]
本稿では,探索空間を横断的に移動可能なニューラルネットワーク探索(NAS)のための汎用ニューラルネットワーク予測器を提案する。
NAS-Bench-101, 201, 301の実験結果から, 提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-02-21T17:28:05Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。
この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。
特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
論文 参考訳（メタデータ） (2021-10-10T09:35:15Z) - RankNAS: Efficient Neural Architecture Search by Pairwise Ranking [30.890612901949307]
本稿では,ペアランキングを用いたパフォーマンスランキング手法(RankNAS)を提案する。
トレーニングの例をはるかに少なくして、効率的なアーキテクチャ検索を可能にする。
最先端のNASシステムよりも桁違いに高速でありながら、高性能なアーキテクチャを設計することができる。
論文 参考訳（メタデータ） (2021-09-15T15:43:08Z) - AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision
of Weight Sharing [6.171090327531059]
空間から最高のアーキテクチャを選択するためのLearning to Rank手法を紹介します。
また,スーパーネットから得られた弱いラベルのアーキテクチャ表現を事前学習することで,重み共有から弱い管理を活用することを提案する。
NASベンチマークと大規模検索空間を用いた実験により,提案手法はSOTAよりも検索コストが大幅に削減された。
論文 参考訳（メタデータ） (2021-08-06T08:31:42Z) - Contrastive Neural Architecture Search with Neural Architecture
Comparators [46.45102111497492]
neural architecture search(nas)における重要なステップの1つは、候補アーキテクチャのパフォーマンスを見積もることである。
既存のメソッドは、バリデーションパフォーマンスを直接使用するか、あるいは予測子を学習してパフォーマンスを見積もる。
本稿では,アーキテクチャ間の比較結果を報奨としてアーキテクチャ探索を行うCTNAS(Contrastive Neural Architecture Search)手法を提案する。
論文 参考訳（メタデータ） (2021-03-08T11:24:07Z) - Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-21T01:58:43Z) - Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。
我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。
KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
論文 参考訳（メタデータ） (2020-10-26T11:57:37Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳（メタデータ） (2020-05-29T09:02:16Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。