論文の概要: Light and Accurate: Neural Architecture Search via Two Constant Shared
Weights Initialisations
- arxiv url: http://arxiv.org/abs/2302.04406v1
- Date: Thu, 9 Feb 2023 02:25:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-10 17:06:53.701439
- Title: Light and Accurate: Neural Architecture Search via Two Constant Shared
Weights Initialisations
- Title(参考訳): 光と精度: 2つの定数共有重み初期化によるニューラルアーキテクチャ検索
- Authors: Ekaterina Gracheva
- Abstract要約: 本稿では,NAS-Bench-101,NAS-Bench-201,NAS-Bench-NLPベンチマークデータセットにおいて,列車セットの精度と高い相関性を示すゼロコスト指標を提案する。
提案手法は既存のNASアルゴリズムに簡単に組み込むことができ,1つのネットワークを評価するのに1秒程度の時間を要する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, zero-cost proxies are gaining ground in neural architecture
search (NAS). These methods allow finding the optimal neural network for a
given task faster and with a lesser computational load than conventional NAS
methods. Equally important is the fact that they also shed some light on the
internal workings of neural architectures. This paper presents a zero-cost
metric that highly correlates with the train set accuracy across the
NAS-Bench-101, NAS-Bench-201 and NAS-Bench-NLP benchmark datasets.
Architectures are initialised with two distinct constant shared weights, one at
a time. Then, a fixed random mini-batch of data is passed forward through each
initialisation. We observe that the dispersion of the outputs between two
initialisations positively correlates with trained accuracy. The correlation
further improves when we normalise dispersion by average output magnitude. Our
metric, epsilon, does not require gradients computation or labels. It thus
unbinds the NAS procedure from training hyperparameters, loss metrics and
human-labelled data. Our method is easy to integrate within existing NAS
algorithms and takes a fraction of a second to evaluate a single network.
- Abstract(参考訳): 近年、ゼロコストプロキシはニューラルアーキテクチャサーチ(NAS)の基盤となっている。
これらの手法により、与えられたタスクに対する最適なニューラルネットワークを、従来のNAS法よりも高速かつ少ない計算負荷で見つけることができる。
同様に重要なことは、彼らが神経アーキテクチャの内部構造にも光を当てているという事実である。
本稿では,nas-bench-101,nas-bench-201,nas-bench-nlpベンチマークデータセットにおける列車設定精度と高い相関を示す。
アーキテクチャは、2つの異なる一定の共有重みで初期化されます。
そして、初期化毎に固定されたランダムなデータのミニバッチを転送する。
2つの初期化間の出力の分散は、トレーニングされた精度と正の相関を観測する。
平均出力等級で分散を正規化すると相関がさらに向上する。
我々の計量であるepsilonは勾配計算やラベルを必要としない。
これにより、NAS手順は、ハイパーパラメータ、損失メトリクス、および人間のラベル付きデータから解放される。
提案手法は既存のNASアルゴリズムに統合しやすく,1つのネットワークを評価するのに1秒程度を要する。
関連論文リスト
- Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。
類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
論文 参考訳(メタデータ) (2024-11-21T02:43:32Z) - Graph is all you need? Lightweight data-agnostic neural architecture search without training [45.79667238486864]
ニューラルアーキテクチャサーチ(NAS)は、ニューラルネットワークモデルの自動設計を可能にする。
我々の手法はnasgraphと呼ばれ、ニューラルネットワークをグラフに変換することによって計算コストを大幅に削減する。
NAS-Bench201からランダムにサンプリングされた200のアーキテクチャの中で、最高のアーキテクチャを217CPU秒で見つけることができる。
論文 参考訳(メタデータ) (2024-05-02T14:12:58Z) - FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search [10.699485270006601]
ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。
この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。
実験の結果, 予測精度は3%~16%向上し, 予測精度は有意に向上した。
論文 参考訳(メタデータ) (2024-04-24T03:22:49Z) - DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳(メタデータ) (2024-03-02T22:16:47Z) - Efficacy of Neural Prediction-Based Zero-Shot NAS [0.04096453902709291]
ディープラーニングを用いたゼロショットニューラルアーキテクチャ探索(NAS)の新しい手法を提案する。
提案手法では,畳み込みカーネルを符号化した罪のフーリエ和を用いて,評価対象のアーキテクチャに類似した構造を持つ計算フィードフォワードグラフの構築を可能にする。
実験の結果,NAS-Bench-201データセットの相関関係から,グラフ畳み込みネットワークを用いた従来の手法よりも高い収束率を示すことがわかった。
論文 参考訳(メタデータ) (2023-08-31T14:54:06Z) - DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit
CNNs [53.82853297675979]
バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。
自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。
本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
論文 参考訳(メタデータ) (2023-06-27T11:28:29Z) - Generalization Properties of NAS under Activation and Skip Connection
Search [66.8386847112332]
ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。
我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。
トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
論文 参考訳(メタデータ) (2022-09-15T12:11:41Z) - Pi-NAS: Improving Neural Architecture Search by Reducing Supernet
Training Consistency Shift [128.32670289503025]
最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。
アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。
このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。
この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
論文 参考訳(メタデータ) (2021-08-22T09:08:48Z) - Neural Architecture Search on ImageNet in Four GPU Hours: A
Theoretically Inspired Perspective [88.39981851247727]
トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。
TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。
1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
論文 参考訳(メタデータ) (2021-02-23T07:50:44Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳(メタデータ) (2021-02-08T05:55:47Z) - Direct Federated Neural Architecture Search [0.0]
本稿では,ハードウェアに依存せず,計算的に軽量な直接フェデレーションNASと,準備の整ったニューラルネットワークモデルを探すためのワンステージ手法を提案する。
以上の結果から, 従来技術の精度向上を図りながら, 資源消費の大幅な削減を図った。
論文 参考訳(メタデータ) (2020-10-13T08:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。