論文の概要: Automated Dominative Subspace Mining for Efficient Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2210.17180v2
• Date: Thu, 6 Jun 2024 04:15:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-08 01:19:21.651809
• Title: Automated Dominative Subspace Mining for Efficient Neural Architecture Search
• Title（参考訳）: 効率的なニューラルネットワーク探索のための自動支配サブスペースマイニング
• Authors: Yaofo Chen, Yong Guo, Daihai Liao, Fanbing Lv, Hengjie Song, James Tin-Yau Kwok, Mingkui Tan,
• Abstract要約: DSM-NAS(Dominative Subspace Mining)を用いたニューラルアーキテクチャ探索手法を提案する。 DSM-NASは自動的にマイニングされたサブスペースで有望なアーキテクチャを見つける。 実験の結果,DSM-NASは検索コストを削減できるだけでなく,様々なベンチマーク検索空間における最先端手法よりも優れたアーキテクチャも発見できることがわかった。
• 参考スコア（独自算出の注目度）: 36.06889021273405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) aims to automatically find effective architectures within a predefined search space. However, the search space is often extremely large. As a result, directly searching in such a large search space is non-trivial and also very time-consuming. To address the above issues, in each search step, we seek to limit the search space to a small but effective subspace to boost both the search performance and search efficiency. To this end, we propose a novel Neural Architecture Search method via Dominative Subspace Mining (DSM-NAS) that finds promising architectures in automatically mined subspaces. Specifically, we first perform a global search, i.e ., dominative subspace mining, to find a good subspace from a set of candidates. Then, we perform a local search within the mined subspace to find effective architectures. More critically, we further boost search performance by taking well-designed/ searched architectures to initialize candidate subspaces. Experimental results demonstrate that DSM-NAS not only reduces the search cost but also discovers better architectures than state-of-the-art methods in various benchmark search spaces.
• Abstract（参考訳）: Neural Architecture Search (NAS)は、事前に定義された検索空間内で有効なアーキテクチャを自動的に見つけることを目的としている。 しかし、検索空間はしばしば非常に大きい。 その結果、このような大規模な検索空間を直接検索するのは簡単ではなく、非常に時間がかかる。 上記の課題に対処するため,各探索ステップにおいて,探索性能と探索効率の両立を図るために,探索空間を小さいが効果的な部分空間に制限する。 そこで本研究では,DSM-NAS(Dominative Subspace Mining)を用いたニューラルアーキテクチャ探索手法を提案する。 具体的には、まずグローバル検索を行います。 候補の集合から良い部分空間を見つけるために、支配的な部分空間マイニングを行う。 次に, マイニングされた部分空間内の局所的な探索を行い, 効率的なアーキテクチャを求める。 より重要なことは、よく設計された/検索されたアーキテクチャを使って候補部分空間を初期化することによって、検索性能をさらに向上する。 実験の結果,DSM-NASは検索コストを削減できるだけでなく,様々なベンチマーク検索空間における最先端手法よりも優れたアーキテクチャも発見できることがわかった。

関連論文リスト

• Efficient NAS with FaDE on Hierarchical Spaces [0.6372911857214884]
  階層型NAS空間の有限領域における相対的な性能予測を得るために、微分可能なアーキテクチャ探索を用いるFaDEを提案する。 FaDEは特に深層階層の多セル探索空間に向いている。
  論文  参考訳（メタデータ） (2024-04-24T21:33:17Z)
• LISSNAS: Locality-based Iterative Search Space Shrinkage for Neural Architecture Search [30.079267927860347]
  大規模な空間をSOTA検索性能を持つ多種多様な小さな探索空間に縮小する自動アルゴリズムを提案する。 提案手法は,モバイル制約下でのイメージネットのSOTA Top-1精度77.6%,最良クラスであるKendal-Tau,アーキテクチャの多様性,検索空間サイズを実現している。
  論文  参考訳（メタデータ） (2023-07-06T16:28:51Z)
• Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars [66.05096551112932]
  文脈自由文法に基づく統一検索空間設計フレームワークを提案する。 それらの特性の強化と利用により,完全なアーキテクチャの探索を効果的に行うことができる。 既存のニューラルアーキテクチャ検索手法よりも検索戦略が優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-03T14:23:00Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• GOLD-NAS: Gradual, One-Level, Differentiable [100.12492801459105]
  GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。 1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
  論文  参考訳（メタデータ） (2020-07-07T10:37:49Z)
• Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search [94.46818035655943]
  本稿では,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。 提案手法により,CNAS法は探索効率を大幅に向上し,既存のNAS法よりも優れたアーキテクチャを求めることができる。
  論文  参考訳（メタデータ） (2020-07-07T02:29:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。