論文の概要: Neural Architecture Search using Progressive Evolution

• arxiv url: http://arxiv.org/abs/2203.01559v1
• Date: Thu, 3 Mar 2022 08:15:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-23 05:51:35.795933
• Title: Neural Architecture Search using Progressive Evolution
• Title（参考訳）: プログレッシブ進化を用いたニューラルアーキテクチャ探索
• Authors: Nilotpal Sinha, Kuan-Wen Chen
• Abstract要約: 進化的アルゴリズムを用いたニューラルアーキテクチャ探索のためのpEvoNASという手法を提案する。 ニューラルネットワーク全体の検索空間は、より小さな検索領域に徐々に縮小され、優れたアーキテクチャを持つ。 pEvoNAS は CIFAR-10 と CIFAR-100 に対して,従来の EA ベースの手法に比べて計算資源が大幅に少ない。
• 参考スコア（独自算出の注目度）: 6.8129169853808795
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vanilla neural architecture search using evolutionary algorithms (EA) involves evaluating each architecture by training it from scratch, which is extremely time-consuming. This can be reduced by using a supernet to estimate the fitness of every architecture in the search space due to its weight sharing nature. However, the estimated fitness is very noisy due to the co-adaptation of the operations in the supernet. In this work, we propose a method called pEvoNAS wherein the whole neural architecture search space is progressively reduced to smaller search space regions with good architectures. This is achieved by using a trained supernet for architecture evaluation during the architecture search using genetic algorithm to find search space regions with good architectures. Upon reaching the final reduced search space, the supernet is then used to search for the best architecture in that search space using evolution. The search is also enhanced by using weight inheritance wherein the supernet for the smaller search space inherits its weights from previous trained supernet for the bigger search space. Exerimentally, pEvoNAS gives better results on CIFAR-10 and CIFAR-100 while using significantly less computational resources as compared to previous EA-based methods. The code for our paper can be found in https://github.com/nightstorm0909/pEvoNAS
• Abstract（参考訳）: 進化的アルゴリズム(EA)を用いたバニラニューラルアーキテクチャ探索では、各アーキテクチャをスクラッチからトレーニングすることで評価する。 これは、スーパーネットを用いて検索空間内の全てのアーキテクチャの適合性を、重みの共有性から推定することで削減できる。 しかし、スーパーネットにおける操作の共適応のため、推定された適合性は非常にうるさい。 本研究では,ニューラルアーキテクチャ全体の探索空間を,より小さな探索空間領域に段階的に縮小するpevonas法を提案する。 これは、遺伝的アルゴリズムを用いたアーキテクチャ探索中に、トレーニングされたスーパーネットを用いて、優れたアーキテクチャを持つ検索空間領域を見つけることによって達成される。 最終的な縮小された検索空間に到達すると、スーパーネットは進化を用いてその検索空間で最高のアーキテクチャを探すために使用される。 また、より小さな探索空間のためのスーパーネットは、以前の訓練されたスーパーネットからより大きな探索空間のためにその重みを継承する。 pEvoNAS は CIFAR-10 と CIFAR-100 に対して,従来の EA ベースの手法に比べて計算資源を著しく減らした。 論文のコードはhttps://github.com/nightstorm0909/pEvoNASで確認できる。

関連論文リスト

• Boosting Order-Preserving and Transferability for Neural Architecture Search: a Joint Architecture Refined Search and Fine-tuning Approach [57.175488207316654]
  本稿では,アーキテクチャ探索とスーパーネットファインチューニングを組み合わせた検索手法であるSupernet Shiftingを提案する。 我々は、Supernet Shiftingが新しいデータセットにスーパーネットを転送できることを示す。 総合的な実験により,本手法の順序保存能力は向上し,支配的アーキテクチャを見出すことができた。
  論文  参考訳（メタデータ） (2024-03-18T00:13:41Z)
• Novelty Driven Evolutionary Neural Architecture Search [6.8129169853808795]
  進化的アルゴリズム(EA)ベースのニューラルアーキテクチャサーチ(NAS)は、各アーキテクチャをスクラッチからトレーニングすることで評価する。 NEvoNASと呼ばれる手法では、NAS問題は2つの目的を持つ多目的問題として提起される: (i) アーキテクチャの新規性を最大化し、 (ii) アーキテクチャの適合性と正確性を最大化する。 NSGA-IIはNAS問題のためのテキストパレート最適フロントを見つけるのに使われ、検索されたアーキテクチャとしてパレートフロントで最高のアーキテクチャが返される。
  論文  参考訳（メタデータ） (2022-04-01T03:32:55Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• FEAR: A Simple Lightweight Method to Rank Architectures [14.017656480004955]
  検索空間のアーキテクチャをランク付けするために,FEARと呼ぶシンプルだが強力な手法を提案する。 FEARは、精度を損なうことなく、検索時間を約2.4倍削減できる。 また,最近提案されたランキングのゼロコスト対策を実証的に検討し,トレーニングが進むにつれてランキングのパフォーマンスが低下することを示した。
  論文  参考訳（メタデータ） (2021-06-07T23:38:21Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• GOLD-NAS: Gradual, One-Level, Differentiable [100.12492801459105]
  GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。 1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
  論文  参考訳（メタデータ） (2020-07-07T10:37:49Z)
• Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search [94.46818035655943]
  本稿では,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。 提案手法により,CNAS法は探索効率を大幅に向上し,既存のNAS法よりも優れたアーキテクチャを求めることができる。
  論文  参考訳（メタデータ） (2020-07-07T02:29:06Z)
• ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search [6.458169480971417]
  ニューラルアーキテクチャ探索(NAS)のためのアーキテクチャ駆動重み予測(ADWP)手法を提案する。 提案手法では,まずアーキテクチャ集約型検索空間を設計し,次にアーキテクチャパラメータをエンコードすることでハイパーネットワークワークを訓練する。 結果は、CIFAR-10上で1つの探索手順を4.0GPU時間で完了することを示す。
  論文  参考訳（メタデータ） (2020-03-03T05:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。