論文の概要: Neural Architecture Search using Covariance Matrix Adaptation Evolution Strategy

• arxiv url: http://arxiv.org/abs/2107.07266v1
• Date: Thu, 15 Jul 2021 11:41:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-22 05:22:37.449045
• Title: Neural Architecture Search using Covariance Matrix Adaptation Evolution Strategy
• Title（参考訳）: 共分散行列適応進化戦略を用いたニューラルアーキテクチャ探索
• Authors: Nilotpal Sinha, Kuan-Wen Chen
• Abstract要約: 本稿では,CMANASと呼ばれるニューラルネットワーク探索問題に対して,共分散行列適応進化戦略(CMA-ES)を適用する枠組みを提案する。 アーキテクチャは正規分布を用いてモデル化され、サンプル集団の適合度に基づいてCMA-ESを用いて更新される。 CMANASはCIFAR-10のアーキテクチャ検索を完了し、トップ1テストの精度は0.45 GPU日で97.44%、トップ1テストの精度は83.24%と1つのGPUで0.6 GPU日で達成した。
• 参考スコア（独自算出の注目度）: 6.8129169853808795
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Evolution-based neural architecture search requires high computational resources, resulting in long search time. In this work, we propose a framework of applying the Covariance Matrix Adaptation Evolution Strategy (CMA-ES) to the neural architecture search problem called CMANAS, which achieves better results than previous evolution-based methods while reducing the search time significantly. The architectures are modelled using a normal distribution, which is updated using CMA-ES based on the fitness of the sampled population. We used the accuracy of a trained one shot model (OSM) on the validation data as a prediction of the fitness of an individual architecture to reduce the search time. We also used an architecture-fitness table (AF table) for keeping record of the already evaluated architecture, thus further reducing the search time. CMANAS finished the architecture search on CIFAR-10 with the top-1 test accuracy of 97.44% in 0.45 GPU day and on CIFAR-100 with the top-1 test accuracy of 83.24% for 0.6 GPU day on a single GPU. The top architectures from the searches on CIFAR-10 and CIFAR-100 were then transferred to ImageNet, achieving the top-5 accuracy of 92.6% and 92.1%, respectively.
• Abstract（参考訳）: 進化に基づくニューラルアーキテクチャ探索は高い計算資源を必要とし、長い探索時間をもたらす。 本研究では,CMANASと呼ばれるニューラルネットワーク探索問題に対して,CMA-ES(Covariance Matrix Adaptation Evolution Strategy)を適用する枠組みを提案する。 アーキテクチャは正規分布を用いてモデル化され、サンプル集団の適合度に基づいてCMA-ESを用いて更新される。 検証データに対する訓練されたone shot model(osm)の精度を,個々のアーキテクチャの適合性の予測として活用し,検索時間を短縮した。 また、すでに評価済みのアーキテクチャの記録を保持するために、アーキテクチャ適合性テーブル(AFテーブル)を使用し、検索時間を短縮した。 CMANASはCIFAR-10のアーキテクチャ検索を完了し、トップ1テストの精度は0.45 GPU日で97.44%、トップ1テストの精度は83.24%と1つのGPUで0.6 GPU日で達成した。 CIFAR-10とCIFAR-100の検索で得られたトップアーキテクチャはImageNetに転送され、それぞれ92.6%と92.1%の精度でトップ5の精度を達成した。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• NAAP-440 Dataset and Baseline for Neural Architecture Accuracy Prediction [1.2183405753834562]
  440のニューラルアーキテクチャのNAAP-440データセットを導入し、CIFAR10で定型レシピを用いてトレーニングした。 実験では、既製の回帰アルゴリズムを使用してトレーニングプロセスの最大10%を実行することで、アーキテクチャの精度を正確に予測できるだけでなく、より正確に予測できることが示されている。 このアプローチはNASベースの研究を加速するための強力なツールとなり、それによってその効率が劇的に向上する。
  論文  参考訳（メタデータ） (2022-09-14T13:21:39Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)
• Evolving Neural Architecture Using One Shot Model [5.188825486231326]
  EvNAS(Evolving Neural Architecture using One Shot Model)と呼ばれるNAS問題に単純な遺伝的アルゴリズムを適用する新しい手法を提案する。 EvNASはプロキシデータセット、すなわちアーキテクチャを検索する。 CIFAR-10 for 4.4 GPU day on a single GPU and achieve a top-1 test error of 2.47%。 アーキテクチャ探索問題の解法における進化的手法の可能性を示す。
  論文  参考訳（メタデータ） (2020-12-23T08:40:53Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)
• Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation [4.595675084986132]
  畳み込みニューラルネットワーク(CNN)のためのニューラルネットワーク探索(NAS)の検索空間は巨大である。 本稿では,既存の研究結果と過去の情報を利用して,軽量かつ高精度なアーキテクチャを迅速に発見するMoARRアルゴリズムを提案する。 実験結果から,CIFAR-10上でのMoARRは6GPU時間で1.9%の誤差率と2.3Mパラメータを持つ,強力で軽量なモデルを実現することができた。
  論文  参考訳（メタデータ） (2020-07-06T13:42:33Z)
• Cyclic Differentiable Architecture Search [99.12381460261841]
  微分可能なArchiTecture Search(DARTS)は、ニューラルアーキテクチャサーチにおいて大きな注目を集めている。 我々はCDARTSと呼ばれる新しい共同目標と新しい周期微分可能なArchiTecture Searchフレームワークを提案する。 DARTS検索の分野では、CIFAR10で97.52%、ImageNetで76.3%、トップ1で76.3%の精度を達成した。
  論文  参考訳（メタデータ） (2020-06-18T17:55:19Z)
• ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search [6.458169480971417]
  ニューラルアーキテクチャ探索(NAS)のためのアーキテクチャ駆動重み予測(ADWP)手法を提案する。 提案手法では,まずアーキテクチャ集約型検索空間を設計し,次にアーキテクチャパラメータをエンコードすることでハイパーネットワークワークを訓練する。 結果は、CIFAR-10上で1つの探索手順を4.0GPU時間で完了することを示す。
  論文  参考訳（メタデータ） (2020-03-03T05:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。