論文の概要: Novelty Driven Evolutionary Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2204.00188v1
• Date: Fri, 1 Apr 2022 03:32:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-20 02:56:17.019968
• Title: Novelty Driven Evolutionary Neural Architecture Search
• Title（参考訳）: ニューロティ駆動進化的ニューラルアーキテクチャ探索
• Authors: Nilotpal Sinha, Kuan-Wen Chen
• Abstract要約: 進化的アルゴリズム(EA)ベースのニューラルアーキテクチャサーチ(NAS)は、各アーキテクチャをスクラッチからトレーニングすることで評価する。 NEvoNASと呼ばれる手法では、NAS問題は2つの目的を持つ多目的問題として提起される: (i) アーキテクチャの新規性を最大化し、 (ii) アーキテクチャの適合性と正確性を最大化する。 NSGA-IIはNAS問題のためのテキストパレート最適フロントを見つけるのに使われ、検索されたアーキテクチャとしてパレートフロントで最高のアーキテクチャが返される。
• 参考スコア（独自算出の注目度）: 6.8129169853808795
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Evolutionary algorithms (EA) based neural architecture search (NAS) involves evaluating each architecture by training it from scratch, which is extremely time-consuming. This can be reduced by using a supernet for estimating the fitness of an architecture due to weight sharing among all architectures in the search space. However, the estimated fitness is very noisy due to the co-adaptation of the operations in the supernet which results in NAS methods getting trapped in local optimum. In this paper, we propose a method called NEvoNAS wherein the NAS problem is posed as a multi-objective problem with 2 objectives: (i) maximize architecture novelty, (ii) maximize architecture fitness/accuracy. The novelty search is used for maintaining a diverse set of solutions at each generation which helps avoiding local optimum traps while the architecture fitness is calculated using supernet. NSGA-II is used for finding the \textit{pareto optimal front} for the NAS problem and the best architecture in the pareto front is returned as the searched architecture. Exerimentally, NEvoNAS gives better results on 2 different search spaces while using significantly less computational resources as compared to previous EA-based methods. The code for our paper can be found in https://github.com/nightstorm0909/NEvoNAS.
• Abstract（参考訳）: 進化的アルゴリズム(ea)ベースのニューラルアーキテクチャ検索(nas)は、スクラッチからトレーニングすることで各アーキテクチャを評価する。 これは、検索空間内の全てのアーキテクチャ間での重み共有によるアーキテクチャの適合度を推定するためにスーパーネットを使用することによって低減することができる。 しかし,nas法が局所的最適に捕捉されるため,スーパーネットでの操作が共適応するため,推定された適合度は非常に高い。 本稿では,2つの目的を持つ多目的問題としてNAS問題を提起するNEvoNASという手法を提案する。 (i)建築ノベルティを最大化。 (ii)アーキテクチャの適合性/精度を最大化する。 アーキテクチャの適合性をスーパーネットを用いて計算しながら、局所的な最適トラップを回避するために、各世代で多様なソリューションの集合を維持するために、新規探索が使用される。 NSGA-II はNAS問題に対する \textit{pareto optimal front} の探索に使われ、検索されたアーキテクチャとしてパレートフロントで最高のアーキテクチャが返される。 実験的に、NEvoNASは2つの異なる検索空間において、従来のEAベースの手法に比べて計算資源をはるかに少なくし、より良い結果を与える。 私たちの論文のコードはhttps://github.com/nightstorm0909/nevonasにあります。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• Neural Architecture Search using Progressive Evolution [6.8129169853808795]
  進化的アルゴリズムを用いたニューラルアーキテクチャ探索のためのpEvoNASという手法を提案する。 ニューラルネットワーク全体の検索空間は、より小さな検索領域に徐々に縮小され、優れたアーキテクチャを持つ。 pEvoNAS は CIFAR-10 と CIFAR-100 に対して,従来の EA ベースの手法に比べて計算資源が大幅に少ない。
  論文  参考訳（メタデータ） (2022-03-03T08:15:14Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• L$^{2}$NAS: Learning to Optimize Neural Architectures via Continuous-Action Reinforcement Learning [23.25155249879658]
  微分可能なアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク設計において顕著な結果を得た。 L$2$は,DART201ベンチマークやNASS,Imse-for-All検索ポリシで,最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-25T19:26:30Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Smooth Variational Graph Embeddings for Efficient Neural Architecture Search [41.62970837629573]
  本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。 ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:05:41Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。