論文の概要: UENAS: A Unified Evolution-based NAS Framework

• arxiv url: http://arxiv.org/abs/2203.04300v1
• Date: Tue, 8 Mar 2022 09:14:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-10 14:48:35.813706
• Title: UENAS: A Unified Evolution-based NAS Framework
• Title（参考訳）: UENAS: 統一進化ベースのNASフレームワーク
• Authors: Zimian Wei, Hengyue Pan, Xin Niu, Peijie Dong, Dongsheng Li
• Abstract要約: UENASは、より広い検索空間を持つ進化型NASフレームワークである。 拡張された検索空間によって引き起こされる膨大な検索コストを軽減するための3つの戦略を提案する。 UENASはCIFAR-10で2.81%、CIFAR-100で20.24%、Tiny-ImageNetで33%のエラー率を達成した。
• 参考スコア（独自算出の注目度）: 11.711427415684955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) has gained significant attention for automatic network design in recent years. Previous NAS methods suffer from limited search spaces, which may lead to sub-optimal results. In this paper, we propose UENAS, an evolution-based NAS framework with a broader search space that supports optimizing network architectures, pruning strategies, and hyperparameters simultaneously. To alleviate the huge search cost caused by the expanded search space, three strategies are adopted: First, an adaptive pruning strategy that iteratively trims the average model size in the population without compromising performance. Second, child networks share weights of overlapping layers with pre-trained parent networks to reduce the training epochs. Third, an online predictor scores the joint representations of architecture, pruning strategy, and hyperparameters to filter out inferior combos. By the proposed three strategies, the search efficiency is significantly improved and more well-performed compact networks with tailored hyper-parameters are derived. In experiments, UENAS achieves error rates of 2.81% on CIFAR-10, 20.24% on CIFAR-100, and 33% on Tiny-ImageNet, which shows the effectiveness of our method.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は,近年,自動ネットワーク設計において大きな注目を集めている。 以前のnasメソッドは検索スペースが限られており、その結果は最適以下の結果になる可能性がある。 本稿では,ネットワークアーキテクチャ,プルーニング戦略,ハイパーパラメータを同時に最適化する,より広い検索空間を持つ進化型NASフレームワークであるUENASを提案する。 拡張された検索空間による膨大な検索コストを軽減するために,まず,人口の平均モデルサイズを反復的にトリミングする適応型プルーニング戦略を,性能を損なうことなく導入する。 第二に、子ネットワークは重なり合うレイヤの重みを事前訓練された親ネットワークと共有し、トレーニングのエポックを低減する。 第3に、オンライン予測器は、劣るコンボをフィルタリングするために、アーキテクチャ、プルーニング戦略、ハイパーパラメータの合同表現をスコアする。 提案する3つの戦略により,検索効率が大幅に向上し,ハイパーパラメータを調整したより高性能なコンパクトネットワークが導出される。 実験では,CIFAR-10では2.81%,CIFAR-100では20.24%,Tiny-ImageNetでは33%の誤差率を達成した。

関連論文リスト

• TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification [11.08910129925713]
  TopoNASは勾配に基づくワンショットNASのモデルに依存しないアプローチである。 探索可能な経路のトポロジ的単純化により検索時間とメモリ使用量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-08-02T15:01:29Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• $\alpha$NAS: Neural Architecture Search using Property Guided Synthesis [1.2746672439030722]
  我々は,より大規模な設計空間において,効率的なニューラルアーキテクチャ探索(NAS)を可能にする技術を開発した。 1) 抽象的な検索空間は元の検索空間よりもかなり小さく,(2) 類似したプログラム特性を持つアーキテクチャも類似した性能を持つ。 我々は進化的フレームワーク内に$alpha$NASというアプローチを実装し、プログラムの特性によって変異が導かれる。
  論文  参考訳（メタデータ） (2022-05-08T21:48:03Z)
• PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search [34.06028035262884]
  我々は、新しい進化型NAS戦略、Predictor-assisted E-NAS(PRE-NAS)を提案する。 Pre-NASは新しい進化的探索戦略を活用し、世代ごとに高忠実度重みの継承を統合する。 NAS-Bench-201とDARTSの探索実験により、Pre-NASは最先端のNAS法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-04-27T06:40:39Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• BNAS:An Efficient Neural Architecture Search Approach Using Broad Scalable Architecture [62.587982139871976]
  我々はBCNN(Broad Convolutional Neural Network)と呼ばれる広義のスケーラブルなアーキテクチャを精巧に設計するBNAS(Broad Neural Architecture Search)を提案する。 BNASは0.19日であり、ENASよりも2.37倍安い。
  論文  参考訳（メタデータ） (2020-01-18T15:07:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。