論文の概要: EEEA-Net: An Early Exit Evolutionary Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2108.06156v1
• Date: Fri, 13 Aug 2021 10:23:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-16 13:10:24.642290
• Title: EEEA-Net: An Early Exit Evolutionary Neural Architecture Search
• Title（参考訳）: EEEA-Net: 初期の進化的ニューラルネットワーク検索
• Authors: Chakkrit Termritthikun, Yeshi Jamtsho, Jirarat Ieamsaard, Paisarn Muneesawang, Ivan Lee
• Abstract要約: 限られた計算資源を持つオンデバイスプロセッサに適した畳み込みニューラルネットワーク(CNN)アーキテクチャの探索。 The Early Exit Population Initialisation (EE-PI) for Evolutionary Algorithm (EA)。 CIFAR-10は2.46%、CIFAR-100は15.02%、ImageNetデータセットは23.8%である。
• 参考スコア（独自算出の注目度）: 6.569256728493014
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The goals of this research were to search for Convolutional Neural Network (CNN) architectures, suitable for an on-device processor with limited computing resources, performing at substantially lower Network Architecture Search (NAS) costs. A new algorithm entitled an Early Exit Population Initialisation (EE-PI) for Evolutionary Algorithm (EA) was developed to achieve both goals. The EE-PI reduces the total number of parameters in the search process by filtering the models with fewer parameters than the maximum threshold. It will look for a new model to replace those models with parameters more than the threshold. Thereby, reducing the number of parameters, memory usage for model storage and processing time while maintaining the same performance or accuracy. The search time was reduced to 0.52 GPU day. This is a huge and significant achievement compared to the NAS of 4 GPU days achieved using NSGA-Net, 3,150 GPU days by the AmoebaNet model, and the 2,000 GPU days by the NASNet model. As well, Early Exit Evolutionary Algorithm networks (EEEA-Nets) yield network architectures with minimal error and computational cost suitable for a given dataset as a class of network algorithms. Using EEEA-Net on CIFAR-10, CIFAR-100, and ImageNet datasets, our experiments showed that EEEA-Net achieved the lowest error rate among state-of-the-art NAS models, with 2.46% for CIFAR-10, 15.02% for CIFAR-100, and 23.8% for ImageNet dataset. Further, we implemented this image recognition architecture for other tasks, such as object detection, semantic segmentation, and keypoint detection tasks, and, in our experiments, EEEA-Net-C2 outperformed MobileNet-V3 on all of these various tasks. (The algorithm code is available at https://github.com/chakkritte/EEEA-Net).
• Abstract（参考訳）: この研究の目的は畳み込みニューラルネットワーク(CNN)アーキテクチャを探索することであり、コンピュータリソースが限られており、ネットワークアーキテクチャ探索(NAS)コストが大幅に低いオンデバイスプロセッサに適している。 進化的アルゴリズム (EA) のための初期人口初期化 (EE-PI) という新しいアルゴリズムを開発した。 EE-PIは、最大閾値よりも少ないパラメータでモデルをフィルタリングすることで、検索プロセスにおけるパラメータの総数を削減する。 しきい値以上のパラメータでそれらのモデルを置き換えるための新しいモデルを探している。 これにより、パラメータの数、モデルストレージのメモリ使用量、同じパフォーマンスや精度を維持しながら処理時間を削減することができる。 検索時間は 0.52 gpu に短縮された。 これは、NSGA-Netで達成された4GPU日、AmoebaNetモデルで3150GPU日、NASNetモデルで達成された2000GPU日と比較して、大きく、重要な成果である。 同様に、Early Exit Evolutionary Algorithm Network (EEEA-Nets) は、ネットワークアルゴリズムのクラスとして与えられたデータセットに適した最小のエラーと計算コストでネットワークアーキテクチャを生成する。 CIFAR-10, CIFAR-100, ImageNetデータセットのEEEA-Netを用いて実験したところ, EEEA-Netは最先端NASモデルの中で最も低いエラー率を示し, CIFAR-10は2.46%, CIFAR-100は15.02%, ImageNetデータセットは23.8%であった。 さらに、オブジェクト検出、セマンティックセグメンテーション、キーポイント検出タスクなど他のタスクに対してこの画像認識アーキテクチャを実装し、実験では、これらのタスクすべてにおいて、EEEA-Net-C2がMobileNet-V3よりも優れていた。 (アルゴリズムコードはhttps://github.com/chakkritte/EEEA-Net)。

関連論文リスト

• Lightweight Neural Architecture Search for Temporal Convolutional Networks at the Edge [21.72253397805102]
  この研究は特に、時系列処理のための畳み込みモデルであるTCN(Temporal Convolutional Networks)に焦点を当てている。 我々は,TNの最も特異なアーキテクチャパラメータの最適化を明示的に目標とする最初のNASツールを提案する。 提案したNASは,音声および生体信号を含む4つの実世界のエッジ関連タスクでテストする。
  論文  参考訳（メタデータ） (2023-01-24T19:47:40Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
  簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。 慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-24T12:20:04Z)
• Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• FNA++: Fast Network Adaptation via Parameter Remapping and Architecture Search [35.61441231491448]
  本稿では,シードネットワークのアーキテクチャとパラメータの両方を適応できるFNA++法を提案する。 実験では、FNA++をMobileNetV2に適用し、セマンティックセグメンテーション、オブジェクト検出、人間のポーズ推定のための新しいネットワークを得る。 FNA++の総計算コストは、SOTAセグメンテーションやNASアプローチよりも大幅に少ない。
  論文  参考訳（メタデータ） (2020-06-21T10:03:34Z)
• Optimizing Neural Architecture Search using Limited GPU Time in a Dynamic Search Space: A Gene Expression Programming Approach [0.0]
  本稿では,畳み込みモデルの効率的な発見のための進化的ニューラルネットワーク探索手法を提案する。 効率的な検索環境と表現型表現により、遺伝子発現プログラミングはネットワークのセル生成に適応する。 提案手法は手動で設計した畳み込みネットワークやNAS生成ネットワークと類似し, 同様に制約された進化に基づくNAS作業にも勝っている。
  論文  参考訳（メタデータ） (2020-05-15T17:32:30Z)
• Lightweight Residual Densely Connected Convolutional Neural Network [18.310331378001397]
  畳み込みニューラルネットワークの深い監督, 効率的な勾配流, 特徴再利用能力を保証するために, 軽量な高密度連結ブロックを提案する。 提案手法は,特別なハードウェア・ソフトウェア機器を使わずに,トレーニングと推論のコストを低減させる。
  論文  参考訳（メタデータ） (2020-01-02T17:15:32Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。