論文の概要: A General-Purpose Transferable Predictor for Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2302.10835v1
- Date: Tue, 21 Feb 2023 17:28:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 14:18:22.001635
- Title: A General-Purpose Transferable Predictor for Neural Architecture Search
- Title（参考訳）: ニューラルネットワーク探索のための汎用変換可能予測器
- Authors: Fred X. Han, Keith G. Mills, Fabian Chudak, Parsa Riahi, Mohammad
Salameh, Jialin Zhang, Wei Lu, Shangling Jui, Di Niu
- Abstract要約: 本稿では,探索空間を横断的に移動可能なニューラルネットワーク探索(NAS)のための汎用ニューラルネットワーク予測器を提案する。
NAS-Bench-101, 201, 301の実験結果から, 提案手法の有効性が示された。
- 参考スコア（独自算出の注目度）: 22.883809911265445
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding and modelling the performance of neural architectures is key to
Neural Architecture Search (NAS). Performance predictors have seen widespread
use in low-cost NAS and achieve high ranking correlations between predicted and
ground truth performance in several NAS benchmarks. However, existing
predictors are often designed based on network encodings specific to a
predefined search space and are therefore not generalizable to other search
spaces or new architecture families. In this paper, we propose a
general-purpose neural predictor for NAS that can transfer across search
spaces, by representing any given candidate Convolutional Neural Network (CNN)
with a Computation Graph (CG) that consists of primitive operators. We further
combine our CG network representation with Contrastive Learning (CL) and
propose a graph representation learning procedure that leverages the structural
information of unlabeled architectures from multiple families to train CG
embeddings for our performance predictor. Experimental results on
NAS-Bench-101, 201 and 301 demonstrate the efficacy of our scheme as we achieve
strong positive Spearman Rank Correlation Coefficient (SRCC) on every search
space, outperforming several Zero-Cost Proxies, including Synflow and Jacov,
which are also generalizable predictors across search spaces. Moreover, when
using our proposed general-purpose predictor in an evolutionary neural
architecture search algorithm, we can find high-performance architectures on
NAS-Bench-101 and find a MobileNetV3 architecture that attains 79.2% top-1
accuracy on ImageNet.
- Abstract（参考訳）: ニューラルネットワークのパフォーマンスを理解し、モデル化することは、Neural Architecture Search(NAS)の鍵となる。
性能予測器は低コストのNASで広く使われており、NASベンチマークでは予測真理性能と基底真理性能の相関性が高い。
しかし、既存の予測器は事前定義された検索空間に特有のネットワークエンコーディングに基づいて設計されることが多く、従って他の検索空間や新しいアーキテクチャファミリには一般化できない。
本稿では,任意の候補である畳み込みニューラルネットワーク(CNN)を,プリミティブ演算子からなる計算グラフ(CG)で表現することにより,探索空間をまたぐNASの汎用的ニューラルネットワーク予測器を提案する。
さらに、CGネットワーク表現とコントラシブラーニング(CL)を組み合わせることで、複数のファミリからのラベルなしアーキテクチャの構造情報を活用して、パフォーマンス予測のためのCG埋め込みを訓練するグラフ表現学習手法を提案する。
NAS-Bench-101, 201, 301の実験結果から, 探索空間毎に強い正のスピアマンランク相関係数(SRCC)を達成し, 探索空間にまたがる一般化可能な予測因子であるSynflowやJacovなど, ゼロコストプロキシよりも優れていることを示す。
さらに、進化的ニューラルアーキテクチャ探索アルゴリズムで提案した汎用予測器を使用すると、NAS-Bench-101上で高性能なアーキテクチャを見つけ、ImageNet上で79.2%の精度でMobileNetV3アーキテクチャを見つけることができる。
関連論文リスト
- CAP: A Context-Aware Neural Predictor for NAS [4.8761456288582945]
我々は、トレーニングにいくつかのアノテートアーキテクチャしか必要としない文脈認識型ニューラル予測器(CAP)を提案する。
異なる探索空間における実験結果は、最先端のニューラル予測器と比較してCAPの優れた性能を示す。
論文 参考訳（メタデータ） (2024-06-04T07:37:47Z) - FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search [10.699485270006601]
ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。
この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。
実験の結果, 予測精度は3%～16%向上し, 予測精度は有意に向上した。
論文 参考訳（メタデータ） (2024-04-24T03:22:49Z) - GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。
そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
論文 参考訳（メタデータ） (2023-05-15T12:44:54Z) - GENNAPE: Towards Generalized Neural Architecture Performance Estimators [25.877126553261434]
GENNAPEは、与えられたニューラルネットワークを、原子操作の計算グラフ(CG)として表現する。
最初に、トポロジ的特徴によるネットワーク分離を促進するために、Contrastive Learningを介してグラフエンコーダを学習する。
実験により、NAS-Bench-101で事前訓練されたGENNAPEは、5つの異なる公開ニューラルネットワークベンチマークに優れた転送性が得られることが示された。
論文 参考訳（メタデータ） (2022-11-30T18:27:41Z) - Landmark Regularization: Ranking Guided Super-Net Training in Neural
Architecture Search [70.57382341642418]
重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。
近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。
本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
論文 参考訳（メタデータ） (2021-04-12T09:32:33Z) - Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-21T01:58:43Z) - Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。
我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。
KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
論文 参考訳（メタデータ） (2020-10-26T11:57:37Z) - Neural Architecture Performance Prediction Using Graph Neural Networks [17.224223176258334]
グラフニューラルネットワーク(GNN)に基づくニューラルネットワーク性能予測のための代理モデルを提案する。
構造不明アーキテクチャのニューラルネットワーク性能予測におけるこの代理モデルの有効性を実証する。
論文 参考訳（メタデータ） (2020-10-19T09:33:57Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳（メタデータ） (2020-05-29T09:02:16Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。