論文の概要: Accelerating Evolutionary Neural Architecture Search via Multi-Fidelity Evaluation

• arxiv url: http://arxiv.org/abs/2108.04541v1
• Date: Tue, 10 Aug 2021 09:32:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-11 20:55:35.704094
• Title: Accelerating Evolutionary Neural Architecture Search via Multi-Fidelity Evaluation
• Title（参考訳）: マルチ忠実度評価による進化的ニューラルアーキテクチャ探索の高速化
• Authors: Shangshang Yang, Ye Tian, Xiaoshu Xiang, Shichen Peng, and Xingyi Zhang
• Abstract要約: MFENASと呼ばれる多要素性評価による高速化ENASを提案する。 MFENASはNVIDIA 2080TI GPUのわずか0.6GPU日で2.39%のテストエラー率を達成する。 CIFAR-10の結果、提案されたMFENASによって得られたアーキテクチャは、わずか0.6GPU日で2.39%のテストエラー率を達成した。
• 参考スコア（独自算出の注目度）: 5.754705118117044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evolutionary neural architecture search (ENAS) has recently received increasing attention by effectively finding high-quality neural architectures, which however consumes high computational cost by training the architecture encoded by each individual for complete epochs in individual evaluation. Numerous ENAS approaches have been developed to reduce the evaluation cost, but it is often difficult for most of these approaches to achieve high evaluation accuracy. To address this issue, in this paper we propose an accelerated ENAS via multifidelity evaluation termed MFENAS, where the individual evaluation cost is significantly reduced by training the architecture encoded by each individual for only a small number of epochs. The balance between evaluation cost and evaluation accuracy is well maintained by suggesting a multi-fidelity evaluation, which identifies the potentially good individuals that cannot survive from previous generations by integrating multiple evaluations under different numbers of training epochs. For high diversity of neural architectures, a population initialization strategy is devised to produce different neural architectures varying from ResNet-like architectures to Inception-like ones. Experimental results on CIFAR-10 show that the architecture obtained by the proposed MFENAS achieves a 2.39% test error rate at the cost of only 0.6 GPU days on one NVIDIA 2080TI GPU, demonstrating the superiority of the proposed MFENAS over state-of-the-art NAS approaches in terms of both computational cost and architecture quality. The architecture obtained by the proposed MFENAS is then transferred to CIFAR-100 and ImageNet, which also exhibits competitive performance to the architectures obtained by existing NAS approaches. The source code of the proposed MFENAS is available at https://github.com/DevilYangS/MFENAS/.
• Abstract（参考訳）: 進化的ニューラルアーキテクチャサーチ(ENAS)は、最近、高品質なニューラルアーキテクチャを効果的に見つけることで注目を集めているが、個々の評価において完全なエポックのために各個人によって符号化されたアーキテクチャを訓練することで、高い計算コストを消費している。 評価コストを削減するために多くのenasアプローチが開発されているが、ほとんどの手法が高い評価精度を達成するのは難しい。 そこで本稿では,mfenas と呼ばれる多元性評価による高速化 enas を提案し,各個人が符号化したアーキテクチャを少数のエポック数で訓練することにより,個々の評価コストを大幅に削減する手法を提案する。 評価コストと評価精度のバランスは、異なる数の訓練エポックの下で複数の評価を統合することで、前世代から生き残れない可能性のある、潜在的に良い個人を特定する多要素評価を提案することにより、よく維持される。 ニューラルアーキテクチャの多様性が高いため、resnetライクなアーキテクチャからインセプションのようなアーキテクチャまで、さまざまなニューラルアーキテクチャを生み出すための集団初期化戦略が考案されている。 CIFAR-10の実験結果から、提案したMFENASで得られたアーキテクチャは、NVIDIA 2080TIのGPUでわずか0.6GPUのコストで2.39%のエラー率を達成し、計算コストとアーキテクチャ品質の両方の観点から、最新のNASアプローチよりも提案したMFENASの方が優れていることを示した。 提案したMFENAS で得られたアーキテクチャは CIFAR-100 と ImageNet に転送され、既存のNAS アプローチで得られたアーキテクチャと競合する性能を示す。 MFENASのソースコードはhttps://github.com/DevilYangS/MFENAS/で公開されている。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Efficient Search of Comprehensively Robust Neural Architectures via Multi-fidelity Evaluation [1.9100854225243937]
  マルチファイダリティ評価(ES-CRNA-ME)による包括的強靭性ニューラルアーキテクチャの効率的な探索法を提案する。 具体的には、まず、重み共有に基づくNAS法を用いて、複数のタイプの評価のもと、包括的に堅牢なアーキテクチャを探索する。 相関分析によりロバスト性評価の回数を削減し、同様の評価を取り入れ、評価コストを削減できる。
  論文  参考訳（メタデータ） (2023-05-12T08:28:58Z)
• PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search [34.06028035262884]
  我々は、新しい進化型NAS戦略、Predictor-assisted E-NAS(PRE-NAS)を提案する。 Pre-NASは新しい進化的探索戦略を活用し、世代ごとに高忠実度重みの継承を統合する。 NAS-Bench-201とDARTSの探索実験により、Pre-NASは最先端のNAS法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-04-27T06:40:39Z)
• Homogeneous Architecture Augmentation for Neural Predictor [13.35821898997164]
  ニューラル・アーキテクチャ・サーチ(NAS)は、手前のタスクのためにディープ・ニューラル・ニューラルネットワーク(DNN)の優れたアーキテクチャを自動で設計することができる。 NASのボトルネックの1つは、高価な性能評価のため、計算コストである。 その人気にもかかわらず、それらは、神経予測器を効果的に訓練するための注釈付きDNNアーキテクチャの不足という、深刻な制限を被っている。
  論文  参考訳（メタデータ） (2021-07-28T03:46:33Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Multi-objective Neural Architecture Search with Almost No Training [9.93048700248444]
  本稿ではRWE(Random-Weight Evaluation)という,ネットワークアーキテクチャの性能を迅速に評価する手法を提案する。 RWEは、アーキテクチャを評価するための計算コストを数時間から秒に短縮する。 進化的多目的アルゴリズムに統合されると、RWEはCIFAR-10上で2時間以内で1枚のGPUカードを検索し、最先端の性能を持つ効率的なアーキテクチャの集合を得る。
  論文  参考訳（メタデータ） (2020-11-27T07:39:17Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• Multi-fidelity Neural Architecture Search with Knowledge Distillation [69.09782590880367]
  ニューラルアーキテクチャ探索のためのベイズ的多重忠実度法 MF-KD を提案する。 知識蒸留は損失関数に追加され、ネットワークが教師ネットワークを模倣することを強制する用語となる。 このような変化した損失関数を持ついくつかのエポックに対するトレーニングは、ロジスティックな損失を持ついくつかのエポックに対するトレーニングよりも、より優れたニューラルアーキテクチャの選択につながることを示す。
  論文  参考訳（メタデータ） (2020-06-15T12:32:38Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。