論文の概要: When NAS Meets Trees: An Efficient Algorithm for Neural Architecture
Search
- arxiv url: http://arxiv.org/abs/2204.04918v1
- Date: Mon, 11 Apr 2022 07:34:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-12 15:43:06.907245
- Title: When NAS Meets Trees: An Efficient Algorithm for Neural Architecture
Search
- Title（参考訳）: nasが木に出会う:ニューラルネットワークの効率的な検索アルゴリズム
- Authors: Guocheng Qian, Xuanyang Zhang, Guohao Li, Chen Zhao, Yukang Chen,
Xiangyu Zhang, Bernard Ghanem, Jian Sun
- Abstract要約: ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。
少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。
TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
- 参考スコア（独自算出の注目度）: 117.89827740405694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The key challenge in neural architecture search (NAS) is designing how to
explore wisely in the huge search space. We propose a new NAS method called
TNAS (NAS with trees), which improves search efficiency by exploring only a
small number of architectures while also achieving a higher search accuracy.
TNAS introduces an architecture tree and a binary operation tree, to factorize
the search space and substantially reduce the exploration size. TNAS performs a
modified bi-level Breadth-First Search in the proposed trees to discover a
high-performance architecture. Impressively, TNAS finds the global optimal
architecture on CIFAR-10 with test accuracy of 94.37\% in four GPU hours in
NAS-Bench-201. The average test accuracy is 94.35\%, which outperforms the
state-of-the-art. Code is available at:
\url{https://github.com/guochengqian/TNAS}.
- Abstract（参考訳）: neural architecture search(nas)における重要な課題は、巨大な検索空間において賢明に探索する方法を設計することだ。
我々は,少数のアーキテクチャのみを探索し,検索精度を向上し,探索効率を向上させる新しいNAS手法TNAS(NAS with Tree)を提案する。
TNASはアーキテクチャツリーとバイナリ演算ツリーを導入し、探索空間を分解し、探索サイズを大幅に削減する。
TNASは、高性能アーキテクチャを発見するために、提案した木で2段階のBreadth-First Searchを修正した。
TNASは、NAS-Bench-201の4つのGPU時間において、テスト精度94.37\%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
平均テスト精度は94.35\%で、最先端を上回っている。
コードは: \url{https://github.com/guochengqian/TNAS}で入手できる。
関連論文リスト
- $\alpha$NAS: Neural Architecture Search using Property Guided Synthesis [1.2746672439030722]
我々は,より大規模な設計空間において,効率的なニューラルアーキテクチャ探索(NAS)を可能にする技術を開発した。
1) 抽象的な検索空間は元の検索空間よりもかなり小さく,(2) 類似したプログラム特性を持つアーキテクチャも類似した性能を持つ。
我々は進化的フレームワーク内に$alpha$NASというアプローチを実装し、プログラムの特性によって変異が導かれる。
論文 参考訳（メタデータ） (2022-05-08T21:48:03Z) - Generative Adversarial Neural Architecture Search [21.05611902967155]
理論的に証明可能な収束保証を備えたGA-NAS(Generative Adversarial NAS)を提案する。
GA-NASは、他のNAS手法によって既に最適化されているベースラインを改善するために利用できることを示す。
論文 参考訳（メタデータ） (2021-05-19T18:54:44Z) - BossNAS: Exploring Hybrid CNN-transformers with Block-wisely
Self-supervised Neural Architecture Search [100.28980854978768]
BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介
探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。
また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
論文 参考訳（メタデータ） (2021-03-23T10:05:58Z) - OPANAS: One-Shot Path Aggregation Network Architecture Search for Object
Detection [82.04372532783931]
近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。
本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-08T01:48:53Z) - Neural Architecture Search via Combinatorial Multi-Armed Bandit [43.29214413461234]
NASをCMAB(Combinial Multi-Armed Bandit)問題(CMAB-NAS)として定式化します。
これにより、大きな検索空間を小さなブロックに分解し、木探索手法をより効率的かつ効率的に適用することができます。
我々はNested Monte-Carlo Searchと呼ばれる木に基づく手法を用いてCMAB-NAS問題に取り組む。
CIFAR-10では,0.58GPU日で,最先端技術に匹敵する低エラー率を実現するセル構造を探索する。
論文 参考訳（メタデータ） (2021-01-01T23:29:33Z) - DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である
本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。
従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
論文 参考訳（メタデータ） (2020-03-27T17:55:21Z) - NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture
Search [55.12928953187342]
我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。
NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。
我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
論文 参考訳（メタデータ） (2020-01-02T05:28:26Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳（メタデータ） (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。