論文の概要: Automatic Subspace Evoking for Efficient Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2210.17180v1
• Date: Mon, 31 Oct 2022 09:54:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 17:54:20.854003
• Title: Automatic Subspace Evoking for Efficient Neural Architecture Search
• Title（参考訳）: 効率的なニューラルネットワーク探索のためのサブスペース自動実行
• Authors: Yaofo Chen, Yong Guo, Daihai Liao, Fanbing Lv, Hengjie Song, Mingkui Tan
• Abstract要約: 本稿では,自動サブスペース呼出し(ASE-NAS)によるニューラルアーキテクチャ探索手法を提案する。 我々はまず、まずグローバル検索、すなわち自動サブスペース呼び出しを行い、候補集合から良いサブスペースを誘発/決定する。 そして,実効的なアーキテクチャを見つけるために,帰納的部分空間内で局所探索を行う。
• 参考スコア（独自算出の注目度）: 41.23773453077129
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) aims to automatically find effective architectures from a predefined search space. However, the search space is often extremely large. As a result, directly searching in such a large search space is non-trivial and also very time-consuming. To address the above issues, in each search step, we seek to limit the search space to a small but effective subspace to boost both the search performance and search efficiency. To this end, we propose a novel Neural Architecture Search method via Automatic Subspace Evoking (ASE-NAS) that finds promising architectures in automatically evoked subspaces. Specifically, we first perform a global search, i.e., automatic subspace evoking, to evoke/find a good subspace from a set of candidates. Then, we perform a local search within the evoked subspace to find an effective architecture. More critically, we further boost search performance by taking well-designed/searched architectures as the initial candidate subspaces. Extensive experiments show that our ASE-NAS not only greatly reduces the search cost but also finds better architectures than state-of-the-art methods in various benchmark search spaces.
• Abstract（参考訳）: Neural Architecture Search (NAS)は、事前に定義された検索空間から効果的なアーキテクチャを自動的に見つけることを目的としている。 しかし、検索スペースは極めて大きいことが多い。 その結果、このような大きな探索空間で直接探索することは非自明であり、非常に時間がかかる。 上記の問題に対処するため,各検索ステップにおいて,検索空間を小さいが有効な部分空間に制限し,検索性能と検索効率の両立を図る。 そこで,本稿では,自動サブスペースを自動生成するサブスペースにおける有望なアーキテクチャを見つけるための,ASE-NASによるニューラルアーキテクチャ探索手法を提案する。 具体的には、まずグローバル検索、すなわち自動部分空間誘発を行い、候補の集合から良い部分空間を導き出す/探す。 そして,実効的なアーキテクチャを見つけるために,誘発部分空間内の局所探索を行う。 より重要なことは、よく設計された/調査されたアーキテクチャを初期候補部分空間とすることで、検索性能をさらに向上させることである。 大規模な実験により、ASE-NASは検索コストを大幅に削減するだけでなく、様々なベンチマーク検索空間における最先端の手法よりも優れたアーキテクチャも見出した。

関連論文リスト

• Efficient NAS with FaDE on Hierarchical Spaces [0.6372911857214884]
  階層型NAS空間の有限領域における相対的な性能予測を得るために、微分可能なアーキテクチャ探索を用いるFaDEを提案する。 FaDEは特に深層階層の多セル探索空間に向いている。
  論文  参考訳（メタデータ） (2024-04-24T21:33:17Z)
• LISSNAS: Locality-based Iterative Search Space Shrinkage for Neural Architecture Search [30.079267927860347]
  大規模な空間をSOTA検索性能を持つ多種多様な小さな探索空間に縮小する自動アルゴリズムを提案する。 提案手法は,モバイル制約下でのイメージネットのSOTA Top-1精度77.6%,最良クラスであるKendal-Tau,アーキテクチャの多様性,検索空間サイズを実現している。
  論文  参考訳（メタデータ） (2023-07-06T16:28:51Z)
• Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars [66.05096551112932]
  文脈自由文法に基づく統一検索空間設計フレームワークを提案する。 それらの特性の強化と利用により,完全なアーキテクチャの探索を効果的に行うことができる。 既存のニューラルアーキテクチャ検索手法よりも検索戦略が優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-03T14:23:00Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• GOLD-NAS: Gradual, One-Level, Differentiable [100.12492801459105]
  GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。 1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
  論文  参考訳（メタデータ） (2020-07-07T10:37:49Z)
• Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search [94.46818035655943]
  本稿では,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。 提案手法により,CNAS法は探索効率を大幅に向上し,既存のNAS法よりも優れたアーキテクチャを求めることができる。
  論文  参考訳（メタデータ） (2020-07-07T02:29:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。