論文の概要: Neural Architecture Search on ImageNet in Four GPU Hours: A
Theoretically Inspired Perspective
- arxiv url: http://arxiv.org/abs/2102.11535v1
- Date: Tue, 23 Feb 2021 07:50:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-24 23:15:13.968678
- Title: Neural Architecture Search on ImageNet in Four GPU Hours: A
Theoretically Inspired Perspective
- Title（参考訳）: imagenetを4gpu時間で検索するニューラルアーキテクチャ:理論的にインスパイアされた視点
- Authors: Wuyang Chen, Xinyu Gong, Zhangyang Wang
- Abstract要約: トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。
TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。
1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
- 参考スコア（独自算出の注目度）: 88.39981851247727
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Architecture Search (NAS) has been explosively studied to automate the
discovery of top-performer neural networks. Current works require heavy
training of supernet or intensive architecture evaluations, thus suffering from
heavy resource consumption and often incurring search bias due to truncated
training or approximations. Can we select the best neural architectures without
involving any training and eliminate a drastic portion of the search cost? We
provide an affirmative answer, by proposing a novel framework called
training-free neural architecture search (TE-NAS). TE-NAS ranks architectures
by analyzing the spectrum of the neural tangent kernel (NTK) and the number of
linear regions in the input space. Both are motivated by recent theory advances
in deep networks and can be computed without any training and any label. We
show that: (1) these two measurements imply the trainability and expressivity
of a neural network; (2) they strongly correlate with the network's test
accuracy. Further on, we design a pruning-based NAS mechanism to achieve a more
flexible and superior trade-off between the trainability and expressivity
during the search. In NAS-Bench-201 and DARTS search spaces, TE-NAS completes
high-quality search but only costs 0.5 and 4 GPU hours with one 1080Ti on
CIFAR-10 and ImageNet, respectively. We hope our work inspires more attempts in
bridging the theoretical findings of deep networks and practical impacts in
real NAS applications. Code is available at:
https://github.com/VITA-Group/TENAS.
- Abstract（参考訳）: ニューラルネットワークの発見を自動化するため、NAS(Neural Architecture Search)が爆発的に研究されている。
現在の作業では,スーパーネットや集中的なアーキテクチャ評価のトレーニングが必要となるため,リソースの消費の増大や,トレーニングの停止や近似による検索バイアスがしばしば発生する。
トレーニングを伴わずに最高のニューラルネットワークアーキテクチャを選択し、検索コストを大幅に削減できますか?
トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)と呼ばれる新しいフレームワークを提案することで、肯定的な答えを提供します。
TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。
どちらも近年のディープネットワークの進歩に動機付けられており、トレーニングやラベルなしで計算することができる。
1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
さらに,検索時のトレーサビリティと表現性とのトレードオフをより柔軟かつ優れたものにするために,プルーニングベースのnas機構を設計する。
NAS-Bench-201 と DARTS の検索空間では、TE-NAS は高品質な検索を完了するが、CIFAR-10 では 1080Ti と ImageNet では 0.5 と 4 の GPU 時間しかかからない。
私たちの研究は、深層ネットワークの理論的な知見と実際のnasアプリケーションにおける実用的な影響を橋渡しする試みを刺激することを期待しています。
コードはhttps://github.com/VITA-Group/TENAS.comで入手できる。
関連論文リスト
- GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。
そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
論文 参考訳（メタデータ） (2023-05-15T12:44:54Z) - NASiam: Efficient Representation Learning using Neural Architecture
Search for Siamese Networks [76.8112416450677]
シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。
NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。
NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
論文 参考訳（メタデータ） (2023-01-31T19:48:37Z) - Generalization Properties of NAS under Activation and Skip Connection
Search [66.8386847112332]
ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。
我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。
トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
論文 参考訳（メタデータ） (2022-09-15T12:11:41Z) - PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search [34.06028035262884]
我々は、新しい進化型NAS戦略、Predictor-assisted E-NAS(PRE-NAS)を提案する。
Pre-NASは新しい進化的探索戦略を活用し、世代ごとに高忠実度重みの継承を統合する。
NAS-Bench-201とDARTSの探索実験により、Pre-NASは最先端のNAS法より優れていることが示された。
論文 参考訳（メタデータ） (2022-04-27T06:40:39Z) - Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
ENCAS - Evolutionary Neural Cascade Searchを紹介する。
ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。
我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
論文 参考訳（メタデータ） (2022-03-08T11:06:01Z) - Understanding and Accelerating Neural Architecture Search with
Training-Free and Theory-Grounded Metrics [117.4281417428145]
この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。
NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。
我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
論文 参考訳（メタデータ） (2021-08-26T17:52:07Z) - BossNAS: Exploring Hybrid CNN-transformers with Block-wisely
Self-supervised Neural Architecture Search [100.28980854978768]
BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介
探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。
また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
論文 参考訳（メタデータ） (2021-03-23T10:05:58Z) - Neural Architecture Search without Training [8.067283219068832]
本研究では,未学習ネットワークにおけるデータポイント間のアクティベーションの重複について検討する。
ネットワークのトレーニングされたパフォーマンスを示すのに有用な指標を、どのように提供できるかを動機付けます。
この測度を単純なアルゴリズムに組み込むことで、単一のGPU上で数秒のトレーニングをすることなく、強力なネットワークを検索できるのです。
論文 参考訳（メタデータ） (2020-06-08T14:53:56Z) - Fast Neural Network Adaptation via Parameter Remapping and Architecture
Search [35.61441231491448]
ディープニューラルネットワークは多くのコンピュータビジョンタスクにおいて顕著なパフォーマンスを達成する。
ほとんどの最新技術(SOTA)セマンティックセグメンテーションとオブジェクト検出アプローチは、バックボーンとしてイメージ分類用に設計されたニューラルネットワークアーキテクチャを再利用する。
しかし、大きな課題の1つは、画像Netによる検索空間表現の事前トレーニングが膨大な計算コストを発生させることである。
本稿では、シードネットワークのアーキテクチャとパラメータの両方を適応できる高速ニューラルネットワーク適応(FNA)手法を提案する。
論文 参考訳（メタデータ） (2020-01-08T13:45:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。