論文の概要: CAP: A Context-Aware Neural Predictor for NAS
- arxiv url: http://arxiv.org/abs/2406.02056v1
- Date: Tue, 4 Jun 2024 07:37:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 17:30:56.895050
- Title: CAP: A Context-Aware Neural Predictor for NAS
- Title（参考訳）: CAP:NASのためのコンテキスト対応ニューラルネットワーク予測器
- Authors: Han Ji, Yuqi Feng, Yanan Sun,
- Abstract要約: 我々は、トレーニングにいくつかのアノテートアーキテクチャしか必要としない文脈認識型ニューラル予測器(CAP)を提案する。
異なる探索空間における実験結果は、最先端のニューラル予測器と比較してCAPの優れた性能を示す。
- 参考スコア（独自算出の注目度）: 4.8761456288582945
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural predictors are effective in boosting the time-consuming performance evaluation stage in neural architecture search (NAS), owing to their direct estimation of unseen architectures. Despite the effectiveness, training a powerful neural predictor with fewer annotated architectures remains a huge challenge. In this paper, we propose a context-aware neural predictor (CAP) which only needs a few annotated architectures for training based on the contextual information from the architectures. Specifically, the input architectures are encoded into graphs and the predictor infers the contextual structure around the nodes inside each graph. Then, enhanced by the proposed context-aware self-supervised task, the pre-trained predictor can obtain expressive and generalizable representations of architectures. Therefore, only a few annotated architectures are sufficient for training. Experimental results in different search spaces demonstrate the superior performance of CAP compared with state-of-the-art neural predictors. In particular, CAP can rank architectures precisely at the budget of only 172 annotated architectures in NAS-Bench-101. Moreover, CAP can help find promising architectures in both NAS-Bench-101 and DARTS search spaces on the CIFAR-10 dataset, serving as a useful navigator for NAS to explore the search space efficiently.
- Abstract（参考訳）: ニューラル・アーキテクチャー・サーチ(NAS)において、ニューラル・予測器は、目に見えないアーキテクチャを直接推定するため、時間を要するパフォーマンス評価の段階を強化するのに有効である。
この効果にもかかわらず、注釈付きアーキテクチャの少ない強力なニューラルネットワーク予測器をトレーニングすることは、依然として大きな課題である。
本稿では,アーキテクチャのコンテキスト情報に基づくトレーニングを行うために,いくつかのアノテートアーキテクチャのみを必要とする文脈認識型ニューラル予測器(CAP)を提案する。
具体的には、入力アーキテクチャをグラフにエンコードし、予測器は各グラフ内のノードの周囲のコンテキスト構造を推論する。
そして、提案した文脈認識型自己教師型タスクによって強化され、事前学習された予測器は、アーキテクチャの表現的および一般化可能な表現を得ることができる。
したがって、トレーニングに十分なアノテートされたアーキテクチャはわずかである。
異なる探索空間における実験結果は、最先端のニューラル予測器と比較してCAPの優れた性能を示す。
特にCAPはNAS-Bench-101の172のアノテートアーキテクチャの予算を正確にランク付けできる。
さらに、CAPはNAS-Bench-101とDARTSの検索空間をCIFAR-10データセットで探索し、NASが探索空間を効率的に探索するのに有用なナビゲータとして機能する。
関連論文リスト
- FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search [10.699485270006601]
ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。
この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。
実験の結果, 予測精度は3%～16%向上し, 予測精度は有意に向上した。
論文 参考訳（メタデータ） (2024-04-24T03:22:49Z) - A General-Purpose Transferable Predictor for Neural Architecture Search [22.883809911265445]
本稿では,探索空間を横断的に移動可能なニューラルネットワーク探索(NAS)のための汎用ニューラルネットワーク予測器を提案する。
NAS-Bench-101, 201, 301の実験結果から, 提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-02-21T17:28:05Z) - Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。
NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-03-31T10:16:10Z) - Network Graph Based Neural Architecture Search [57.78724765340237]
我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。
グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
論文 参考訳（メタデータ） (2021-12-15T00:12:03Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform
Successive Halving [74.61723678821049]
予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。
予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。
その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
論文 参考訳（メタデータ） (2021-08-18T07:45:21Z) - Homogeneous Architecture Augmentation for Neural Predictor [13.35821898997164]
ニューラル・アーキテクチャ・サーチ(NAS)は、手前のタスクのためにディープ・ニューラル・ニューラルネットワーク(DNN)の優れたアーキテクチャを自動で設計することができる。
NASのボトルネックの1つは、高価な性能評価のため、計算コストである。
その人気にもかかわらず、それらは、神経予測器を効果的に訓練するための注釈付きDNNアーキテクチャの不足という、深刻な制限を被っている。
論文 参考訳（メタデータ） (2021-07-28T03:46:33Z) - Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-21T01:58:43Z) - Neural Architecture Performance Prediction Using Graph Neural Networks [17.224223176258334]
グラフニューラルネットワーク(GNN)に基づくニューラルネットワーク性能予測のための代理モデルを提案する。
構造不明アーキテクチャのニューラルネットワーク性能予測におけるこの代理モデルの有効性を実証する。
論文 参考訳（メタデータ） (2020-10-19T09:33:57Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。