論文の概要: BNAS:An Efficient Neural Architecture Search Approach Using Broad Scalable Architecture

• arxiv url: http://arxiv.org/abs/2001.06679v5
• Date: Wed, 20 Jan 2021 07:09:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 04:53:40.169780
• Title: BNAS:An Efficient Neural Architecture Search Approach Using Broad Scalable Architecture
• Title（参考訳）: BNAS:Broad Scalable Architectureを用いた効率的なニューラルネットワーク探索手法
• Authors: Zixiang Ding, Yaran Chen, Nannan Li, Dongbin Zhao, Zhiquan Sun and C.L. Philip Chen
• Abstract要約: 我々はBCNN(Broad Convolutional Neural Network)と呼ばれる広義のスケーラブルなアーキテクチャを精巧に設計するBNAS(Broad Neural Architecture Search)を提案する。 BNASは0.19日であり、ENASよりも2.37倍安い。
• 参考スコア（独自算出の注目度）: 62.587982139871976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose Broad Neural Architecture Search (BNAS) where we elaborately design broad scalable architecture dubbed Broad Convolutional Neural Network (BCNN) to solve the above issue. On one hand, the proposed broad scalable architecture has fast training speed due to its shallow topology. Moreover, we also adopt reinforcement learning and parameter sharing used in ENAS as the optimization strategy of BNAS. Hence, the proposed approach can achieve higher search efficiency. On the other hand, the broad scalable architecture extracts multi-scale features and enhancement representations, and feeds them into global average pooling layer to yield more reasonable and comprehensive representations. Therefore, the performance of broad scalable architecture can be promised. In particular, we also develop two variants for BNAS who modify the topology of BCNN. In order to verify the effectiveness of BNAS, several experiments are performed and experimental results show that 1) BNAS delivers 0.19 days which is 2.37x less expensive than ENAS who ranks the best in reinforcement learning-based NAS approaches, 2) compared with small-size (0.5 millions parameters) and medium-size (1.1 millions parameters) models, the architecture learned by BNAS obtains state-of-the-art performance (3.58% and 3.24% test error) on CIFAR-10, 3) the learned architecture achieves 25.3% top-1 error on ImageNet just using 3.9 millions parameters.
• Abstract（参考訳）: 本稿では,broad convolutional neural network (bcnn) と呼ばれる広範にスケーラブルなアーキテクチャを精巧に設計し,この問題を解決するために,broad neural architecture search (bnas)を提案する。 一方,提案する広範に拡張可能なアーキテクチャは,その浅いトポロジーのため,トレーニング速度が速い。 また、BNASの最適化戦略として、ENASで使用される強化学習とパラメータ共有を採用した。 したがって,提案手法は高い探索効率を実現することができる。 一方、広範にスケーラブルなアーキテクチャは、マルチスケールの特徴と拡張表現を抽出し、それらをグローバル平均プール層に供給し、より合理的で包括的な表現をもたらす。 したがって、広範にスケーラブルなアーキテクチャの性能を約束できる。 特に,BCNNのトポロジを変更するBNASの2つの変種を開発した。 bnaの有効性を検証するために,いくつかの実験が行われ,実験結果が得られた。 1)BNASは、強化学習に基づくNASアプローチで最高位のENASよりも2.37倍安い0.019日を納品する。 2) 小型 (0.5 万パラメータ) と中型 (11 万パラメータ) のモデルと比較して,BNAS が学んだアーキテクチャは CIFAR-10 上で最先端性能 (3.58% および 3.24% のテストエラー) を得る。 3) 学習したアーキテクチャは390万のパラメータを使用するだけで、ImageNet上で25.3%のトップ1エラーを達成する。

関連論文リスト

• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Stacked BNAS: Rethinking Broad Convolutional Neural Network for Neural Architecture Search [16.6035648938434]
  検索空間が拡張性のあるアーキテクチャである Stacked BCNN を提案し,BNAS よりも優れた性能を示す。 一方、Stacked BCNNは、Mini-BCNNを包括的表現を保存し、強力な特徴抽出機能を提供する基本ブロックとして扱う。 一方,適切な知識埋め込みを学習するための知識埋め込み探索(KES)を提案する。
  論文  参考訳（メタデータ） (2021-11-15T12:49:27Z)
• TND-NAS: Towards Non-differentiable Objectives in Progressive Differentiable NAS Framework [6.895590095853327]
  微分可能なアーキテクチャサーチは、ニューラルネットワークサーチ(NAS)分野において、徐々に主流の研究トピックになりつつある。 最近の差別化可能なNASは、検索性能の向上とGPUメモリ消費の削減も目指している。 微分可能なNASフレームワークにおける高効率と、多目的NASにおける非微分可能なメトリクス間の互換性を両立させたTND-NASを提案する。
  論文  参考訳（メタデータ） (2021-11-06T14:19:36Z)
• L$^{2}$NAS: Learning to Optimize Neural Architectures via Continuous-Action Reinforcement Learning [23.25155249879658]
  微分可能なアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク設計において顕著な結果を得た。 L$2$は,DART201ベンチマークやNASS,Imse-for-All検索ポリシで,最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-25T19:26:30Z)
• Memory-Efficient Hierarchical Neural Architecture Search for Image Restoration [68.6505473346005]
  メモリ効率の高い階層型NAS HiNAS(HiNAS)を提案する。 単一の GTX1080Ti GPU では、BSD 500 でネットワークを消すのに約 1 時間、DIV2K で超解像構造を探すのに 3.5 時間しかかかりません。
  論文  参考訳（メタデータ） (2020-12-24T12:06:17Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。