論文の概要: Evolutionary Neural Cascade Search across Supernetworks
- arxiv url: http://arxiv.org/abs/2203.04011v1
- Date: Tue, 8 Mar 2022 11:06:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-09 19:55:46.880307
- Title: Evolutionary Neural Cascade Search across Supernetworks
- Title（参考訳）: スーパーネットワークにおける進化的ニューラルカスケード探索
- Authors: Alexander Chebykin, Tanja Alderliesten, Peter A. N. Bosman
- Abstract要約: ENCAS - Evolutionary Neural Cascade Searchを紹介する。
ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。
我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
- 参考スコア（独自算出の注目度）: 68.8204255655161
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: To achieve excellent performance with modern neural networks, having the
right network architecture is important. Neural Architecture Search (NAS)
concerns the automatic discovery of task-specific network architectures. Modern
NAS approaches leverage supernetworks whose subnetworks encode candidate neural
network architectures. These subnetworks can be trained simultaneously,
removing the need to train each network from scratch, thereby increasing the
efficiency of NAS. A recent method called Neural Architecture Transfer (NAT)
further improves the efficiency of NAS for computer vision tasks by using a
multi-objective evolutionary algorithm to find high-quality subnetworks of a
supernetwork pretrained on ImageNet. Building upon NAT, we introduce ENCAS -
Evolutionary Neural Cascade Search. ENCAS can be used to search over multiple
pretrained supernetworks to achieve a trade-off front of cascades of different
neural network architectures, maximizing accuracy while minimizing FLOPS count.
We test ENCAS on common computer vision benchmarks (CIFAR-10, CIFAR-100,
ImageNet) and achieve Pareto dominance over previous state-of-the-art NAS
models up to 1.5 GFLOPS. Additionally, applying ENCAS to a pool of 518 publicly
available ImageNet classifiers leads to Pareto dominance in all computation
regimes and to increasing the maximum accuracy from 88.6% to 89.0%, accompanied
by an 18\% decrease in computation effort from 362 to 296 GFLOPS. Our code is
available at https://github.com/AwesomeLemon/ENCAS
- Abstract（参考訳）: 現代のニューラルネットワークで優れた性能を実現するためには、適切なネットワークアーキテクチャが重要である。
neural architecture search (nas) はタスク固有のネットワークアーキテクチャの自動発見に関するものである。
現代のnasアプローチは、サブネットワークが候補ニューラルネットワークアーキテクチャをエンコードするスーパーネットワークを活用する。
これらのサブネットワークは同時にトレーニングでき、各ネットワークをスクラッチからトレーニングする必要がなくなり、nasの効率が向上する。
ニューラルアーキテクチャトランスファー(NAT)と呼ばれる最近の手法は、多目的進化アルゴリズムを用いてコンピュータビジョンタスクにおけるNASの効率をさらに向上し、ImageNetで事前訓練されたスーパーネットワークの高品質サブネットワークを見つける。
NAT上に構築されたENCASEvolutionary Neural Cascade Searchを紹介する。
ENCASは、複数の事前訓練されたスーパーネットワークを探索して、異なるニューラルネットワークアーキテクチャのカスケードのトレードオフフロントを達成し、FLOPSカウントを最小化しながら精度を最大化するために使用することができる。
我々は、一般的なコンピュータビジョンベンチマーク(CIFAR-10, CIFAR-100, ImageNet)でEMCASをテストし、従来の最先端NASモデルよりも1.5GFLOPSまでのパレート支配を達成した。
さらに、ENCASを518個のパブリックなイメージネット分類器のプールに適用すると、全ての計算系においてパレートが支配的になり、最大精度は88.6%から89.0%に増加し、計算労力は362から296 GFLOPSに18%減少する。
私たちのコードはhttps://github.com/AwesomeLemon/ENCASで利用可能です。
関連論文リスト
- DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。
慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
論文 参考訳（メタデータ） (2021-10-24T12:20:04Z) - Learning Versatile Neural Architectures by Propagating Network Codes [74.2450894473073]
アーキテクチャの性能を複数のデータセットやタスクで予測できる新しい「神経予測器」を提案する。
ncpはネットワークコードから学習するが、オリジナルデータではないため、データセット間で効率的にアーキテクチャを更新することができる。
論文 参考訳（メタデータ） (2021-03-24T15:20:38Z) - Neural Architecture Search on ImageNet in Four GPU Hours: A
Theoretically Inspired Perspective [88.39981851247727]
トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。
TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。
1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
論文 参考訳（メタデータ） (2021-02-23T07:50:44Z) - FNA++: Fast Network Adaptation via Parameter Remapping and Architecture
Search [35.61441231491448]
本稿では,シードネットワークのアーキテクチャとパラメータの両方を適応できるFNA++法を提案する。
実験では、FNA++をMobileNetV2に適用し、セマンティックセグメンテーション、オブジェクト検出、人間のポーズ推定のための新しいネットワークを得る。
FNA++の総計算コストは、SOTAセグメンテーションやNASアプローチよりも大幅に少ない。
論文 参考訳（メタデータ） (2020-06-21T10:03:34Z) - Neural Architecture Search without Training [8.067283219068832]
本研究では,未学習ネットワークにおけるデータポイント間のアクティベーションの重複について検討する。
ネットワークのトレーニングされたパフォーマンスを示すのに有用な指標を、どのように提供できるかを動機付けます。
この測度を単純なアルゴリズムに組み込むことで、単一のGPU上で数秒のトレーニングをすることなく、強力なネットワークを検索できるのです。
論文 参考訳（メタデータ） (2020-06-08T14:53:56Z) - Neural Architecture Transfer [20.86857986471351]
既存のアプローチでは、ハードウェアまたは目的のデプロイメント仕様の完全な検索が1つ必要である。
この制限を克服するために、ニューラルネットワーク転送(NAT)を提案する。
NATは、複数の競合する目標の下で競合するタスク固有のカスタムモデルを効率的に生成するように設計されている。
論文 参考訳（メタデータ） (2020-05-12T15:30:36Z) - Fast Neural Network Adaptation via Parameter Remapping and Architecture
Search [35.61441231491448]
ディープニューラルネットワークは多くのコンピュータビジョンタスクにおいて顕著なパフォーマンスを達成する。
ほとんどの最新技術(SOTA)セマンティックセグメンテーションとオブジェクト検出アプローチは、バックボーンとしてイメージ分類用に設計されたニューラルネットワークアーキテクチャを再利用する。
しかし、大きな課題の1つは、画像Netによる検索空間表現の事前トレーニングが膨大な計算コストを発生させることである。
本稿では、シードネットワークのアーキテクチャとパラメータの両方を適応できる高速ニューラルネットワーク適応(FNA)手法を提案する。
論文 参考訳（メタデータ） (2020-01-08T13:45:15Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳（メタデータ） (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。