論文の概要: BenchENAS: A Benchmarking Platform for Evolutionary Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2108.03856v2
• Date: Sat, 14 Aug 2021 14:49:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-18 23:42:04.045608
• Title: BenchENAS: A Benchmarking Platform for Evolutionary Neural Architecture Search
• Title（参考訳）: BenchENAS:進化的ニューラルネットワーク検索のためのベンチマークプラットフォーム
• Authors: Xiangning Xie, Yuqiao Liu, Yanan Sun, Gary G. Yen, Bing Xue and Mengjie Zhang
• Abstract要約: 進化的計算に基づくNAS(ENAS)法は近年注目されている。 公平な比較と効率的な評価の問題は、ENASの開発を妨げている。 本稿では,これらの問題に対処するためのBenchENASというプラットフォームを開発する。
• 参考スコア（独自算出の注目度）: 10.925662100634378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS), which automatically designs the architectures of deep neural networks, has achieved breakthrough success over many applications in the past few years. Among different classes of NAS methods, evolutionary computation based NAS (ENAS) methods have recently gained much attention. Unfortunately, the issues of fair comparisons and efficient evaluations have hindered the development of ENAS. The current benchmark architecture datasets designed for fair comparisons only provide the datasets, not the ENAS algorithms or the platform to run the algorithms. The existing efficient evaluation methods are either not suitable for the population-based ENAS algorithm or are too complex to use. This paper develops a platform named BenchENAS to address these issues. BenchENAS aims to achieve fair comparisons by running different algorithms in the same environment and with the same settings. To achieve efficient evaluation in a common lab environment, BenchENAS designs a parallel component and a cache component with high maintainability. Furthermore, BenchENAS is easy to install and highly configurable and modular, which brings benefits in good usability and easy extensibility. The paper conducts efficient comparison experiments on eight ENAS algorithms with high GPU utilization on this platform. The experiments validate that the fair comparison issue does exist, and BenchENAS can alleviate this issue. A website has been built to promote BenchENAS at https://benchenas.com, where interested researchers can obtain the source code and document of BenchENAS for free.
• Abstract（参考訳）: ディープニューラルネットワークのアーキテクチャを自動的に設計するneural architecture search(nas)は、ここ数年で多くのアプリケーションでブレークスルーを達成した。 NAS法の様々なクラスの中で、進化計算に基づくNAS(ENAS)法が近年注目されている。 残念ながら、公平な比較と効率的な評価の問題はENASの開発を妨げている。 公正な比較のために設計された現在のベンチマークアーキテクチャデータセットは、ENASアルゴリズムやアルゴリズムを実行するプラットフォームではなく、データセットのみを提供する。 既存の効率的な評価手法は、人口ベースのENASアルゴリズムには適さないか、複雑すぎるかのいずれかである。 本稿では,これらの問題に対処するためのBenchENASというプラットフォームを開発する。 BenchENASは、同じ環境で同じ設定で異なるアルゴリズムを実行することで、公正な比較を実現することを目指している。 共通ラボ環境での効率的な評価を実現するため、benchenasは並列コンポーネントとキャッシュコンポーネントを高い保守性で設計する。 さらに、BenchENASはインストールが容易で、高度に構成可能でモジュール化されており、優れたユーザビリティと拡張性をもたらす。 本稿では,このプラットフォーム上でのGPU利用率の高い8つのENASアルゴリズムの効率的な比較実験を行う。 実験は、公正な比較問題が存在することを検証し、BenchENASはこの問題を緩和することができる。 BenchENASのソースコードとドキュメントを無償で入手できるWebサイトがhttps://benchenas.comで公開されている。

関連論文リスト

• Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
  我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。 類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
  論文  参考訳（メタデータ） (2024-11-21T02:43:32Z)
• Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
  Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。 本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:00:35Z)
• Are Neural Architecture Search Benchmarks Well Designed? A Deeper Look Into Operation Importance [5.065947993017157]
  我々は、広く使われているNAS-Bench-101、NAS-Bench-201、TransNAS-Bench-101ベンチマークを実証分析した。 性能範囲の上限に近いアーキテクチャを生成するためには,操作プールのサブセットのみが必要であることがわかった。 一貫性のある畳み込みレイヤは、アーキテクチャのパフォーマンスに最も影響していると考えています。
  論文  参考訳（メタデータ） (2023-03-29T18:03:28Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
  既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。 我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:13:18Z)
• Efficient Neural Architecture Search for End-to-end Speech Recognition via Straight-Through Gradients [17.501966450686282]
  そこで我々は,ST-NASと呼ばれるStraight-Through(ST)勾配を用いた効率的なニューラルネットワーク探索法を開発した。 広くベンチマークされた80時間のWSJと300時間のSwitchboardデータセットに対する実験は、ST-NASによって誘導されるアーキテクチャが、2つのデータセットで設計されたアーキテクチャを大幅に上回っていることを示している。 また,ST-NASのアーキテクチャ伝達性やメモリおよび時間における計算コストの低減といった強度についても報告する。
  論文  参考訳（メタデータ） (2020-11-11T09:18:58Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• DSNAS: Direct Neural Architecture Search without Parameter Retraining [112.02966105995641]
  この観測に基づいて,タスク固有のエンドツーエンドであるNASの新たな問題定義を提案する。 低バイアスモンテカルロ推定でアーキテクチャとパラメータを同時に最適化する効率的な微分可能なNASフレームワークであるDSNASを提案する。 DSNASは、420GPU時間でImageNetで同等の精度(74.4%)のネットワークを発見し、総時間を34%以上削減した。
  論文  参考訳（メタデータ） (2020-02-21T04:41:47Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。