論文の概要: Encodings for Prediction-based Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2403.02484v1
- Date: Mon, 4 Mar 2024 21:05:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 17:00:04.424033
- Title: Encodings for Prediction-based Neural Architecture Search
- Title（参考訳）: 予測に基づくニューラルアーキテクチャ探索のための符号化
- Authors: Yash Akhauri, Mohamed S. Abdelfattah
- Abstract要約: 予測に基づく手法は、ニューラルネットワーク探索(NAS)の最適化を大幅に強化した。
従来のエンコーディングでは、ニューラルネットワークのグラフ構造を記述する隣接行列を使用していた。
我々は、構造、学習、スコアベースという3つの主要なタイプのニューラルエンコーディングを分類し、調査する。
textbfFlow textbfAttention for textbfNAS。
- 参考スコア（独自算出の注目度）: 8.564763702766776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predictor-based methods have substantially enhanced Neural Architecture
Search (NAS) optimization. The efficacy of these predictors is largely
influenced by the method of encoding neural network architectures. While
traditional encodings used an adjacency matrix describing the graph structure
of a neural network, novel encodings embrace a variety of approaches from
unsupervised pretraining of latent representations to vectors of zero-cost
proxies. In this paper, we categorize and investigate neural encodings from
three main types: structural, learned, and score-based. Furthermore, we extend
these encodings and introduce \textit{unified encodings}, that extend NAS
predictors to multiple search spaces. Our analysis draws from experiments
conducted on over 1.5 million neural network architectures on NAS spaces such
as NASBench-101 (NB101), NB201, NB301, Network Design Spaces (NDS), and
TransNASBench-101. Building on our study, we present our predictor
\textbf{FLAN}: \textbf{Fl}ow \textbf{A}ttention for \textbf{N}AS. FLAN
integrates critical insights on predictor design, transfer learning, and
\textit{unified encodings} to enable more than an order of magnitude cost
reduction for training NAS accuracy predictors. Our implementation and
encodings for all neural networks are open-sourced at
\href{https://github.com/abdelfattah-lab/flan_nas}{https://github.com/abdelfattah-lab/flan\_nas}.
- Abstract（参考訳）: 予測に基づく手法は、ニューラルネットワーク探索(NAS)の最適化を大幅に強化した。
これらの予測器の有効性は、ニューラルネットワークアーキテクチャの符号化方法に大きく影響されている。
従来のエンコーディングでは、ニューラルネットワークのグラフ構造を記述する隣接行列を使用していたが、新しいエンコーディングでは、非教師なしの潜在表現の事前学習からゼロコストプロキシのベクトルまで、さまざまなアプローチを採用している。
本稿では,構造,学習,スコアベースという3つの主要なタイプのニューラルエンコーディングを分類し,検討する。
さらに、これらのエンコーディングを拡張し、nas予測子を複数の検索空間に拡張する \textit{unified encodings} を導入する。
本稿では,nasbench-101 (nb101), nb201, nb301, network design spaces (nds), transnasbench-101などのnas空間における150万以上のニューラルネットワークアーキテクチャを用いた実験から考察を行った。
本研究に基づいて, 予測器 \textbf{flan}: \textbf{fl}ow \textbf{a}ttention for \textbf{n}asを提案する。
FLAN は予測器の設計、伝達学習、および \textit{unified encodings} に関する重要な知見を統合し、NAS 精度予測器を訓練するための1桁以上のコスト削減を可能にする。
すべてのニューラルネットワークの実装とエンコーディングは、 \href{https://github.com/abdelfattah-lab/flan_nas}{https://github.com/abdelfattah-lab/flan\_nas}でオープンソースです。
関連論文リスト
- FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search [10.699485270006601]
ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。
この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。
実験の結果, 予測精度は3%～16%向上し, 予測精度は有意に向上した。
論文 参考訳（メタデータ） (2024-04-24T03:22:49Z) - Structured Neural Networks for Density Estimation and Causal Inference [15.63518195860946]
ニューラルネットワークに構造を注入することで、入力のサブセットに関する不変性を満たす学習機能を実現することができる。
本稿では,ニューラルネットワークのマスキング経路を通じて構造を注入する構造ニューラルネットワーク(StrNN)を提案する。
論文 参考訳（メタデータ） (2023-11-03T20:15:05Z) - Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
論文 参考訳（メタデータ） (2023-05-26T04:34:28Z) - A General-Purpose Transferable Predictor for Neural Architecture Search [22.883809911265445]
本稿では,探索空間を横断的に移動可能なニューラルネットワーク探索(NAS)のための汎用ニューラルネットワーク予測器を提案する。
NAS-Bench-101, 201, 301の実験結果から, 提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-02-21T17:28:05Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - NASiam: Efficient Representation Learning using Neural Architecture
Search for Siamese Networks [76.8112416450677]
シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。
NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。
NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
論文 参考訳（メタデータ） (2023-01-31T19:48:37Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
精度予測に非神経モデルを用いる別の手法について検討する。
我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。
NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
論文 参考訳（メタデータ） (2020-07-09T13:28:49Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。