論文の概要: Stacked BNAS: Rethinking Broad Convolutional Neural Network for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2111.07722v1
• Date: Mon, 15 Nov 2021 12:49:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-16 16:12:10.745858
• Title: Stacked BNAS: Rethinking Broad Convolutional Neural Network for Neural Architecture Search
• Title（参考訳）: stacked bnas: ニューラルアーキテクチャ探索のための広義畳み込みニューラルネットワークの再検討
• Authors: Zixiang Ding, Yaran Chen, Nannan Li, Dongbin Zhao
• Abstract要約: 検索空間が拡張性のあるアーキテクチャである Stacked BCNN を提案し,BNAS よりも優れた性能を示す。 一方、Stacked BCNNは、Mini-BCNNを包括的表現を保存し、強力な特徴抽出機能を提供する基本ブロックとして扱う。 一方,適切な知識埋め込みを学習するための知識埋め込み探索(KES)を提案する。
• 参考スコア（独自算出の注目度）: 16.6035648938434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Different from other deep scalable architecture based NAS approaches, Broad Neural Architecture Search (BNAS) proposes a broad one which consists of convolution and enhancement blocks, dubbed Broad Convolutional Neural Network (BCNN) as search space for amazing efficiency improvement. BCNN reuses the topologies of cells in convolution block, so that BNAS can employ few cells for efficient search. Moreover, multi-scale feature fusion and knowledge embedding are proposed to improve the performance of BCNN with shallow topology. However, BNAS suffers some drawbacks: 1) insufficient representation diversity for feature fusion and enhancement, and 2) time consuming of knowledge embedding design by human expert. In this paper, we propose Stacked BNAS whose search space is a developed broad scalable architecture named Stacked BCNN, with better performance than BNAS. On the one hand, Stacked BCNN treats mini-BCNN as the basic block to preserve comprehensive representation and deliver powerful feature extraction ability. On the other hand, we propose Knowledge Embedding Search (KES) to learn appropriate knowledge embeddings. Experimental results show that 1) Stacked BNAS obtains better performance than BNAS, 2) KES contributes to reduce the parameters of learned architecture with satisfactory performance, and 3) Stacked BNAS delivers state-of-the-art efficiency of 0.02 GPU days.
• Abstract（参考訳）: 他の拡張性のあるアーキテクチャに基づくNASアプローチとは異なり、BNAS(Broad Neural Architecture Search)は、BCNN(Broad Convolutional Neural Network)と呼ばれる畳み込みブロックと拡張ブロックからなる広義のアーキテクチャを提案する。 BCNNは畳み込みブロック中の細胞のトポロジを再利用し、BNASは効率的に探索するために少数の細胞を使うことができる。 さらに, 浅部トポロジを用いたBCNNの性能向上のために, マルチスケール機能融合と知識埋め込みを提案する。 しかしBNASにはいくつかの欠点がある。 1)特徴融合・強化のための表現多様性の不足 2)人間専門家による知識の埋め込み設計に要する時間 本稿では,検索空間が拡張性のあるアーキテクチャである Stacked BCNN を提案し,BNAS よりも優れた性能を示す。 一方、Stacked BCNNは、Mini-BCNNを包括的表現を保存し、強力な特徴抽出機能を提供する基本ブロックとして扱う。 一方,適切な知識埋め込みを学習するための知識埋め込み探索(KES)を提案する。 実験の結果 1)積み重ねBNASはBNASよりも優れた性能を得る。 2) KESは、学習したアーキテクチャのパラメータを良好な性能で減少させるのに寄与する。 3)重ねられたBNASは、0.02GPU日の最先端効率を提供する。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• BARS: Joint Search of Cell Topology and Layout for Accurate and Efficient Binary ARchitectures [21.671696519808226]
  バイナリニューラルネットワーク(BNN)はその有望な効率のために大きな注目を集めている。 現在、ほとんどのBNN研究は広く使われているCNNアーキテクチャを採用しており、BNNには最適である。 本稿では,大規模な設計空間において優れたバイナリアーキテクチャを発見するために,BARS(Binary ARchitecture Search)フローを提案する。
  論文  参考訳（メタデータ） (2020-11-21T14:38:44Z)
• BNAS-v2: Memory-efficient and Performance-collapse-prevented Broad Neural Architecture Search [15.287692867984228]
  BCNNの両優位性を同時に具現化するBNAS-v2。 細胞の各端を全ての候補操作に関連付ける連続緩和戦略。 部分チャネル接続とエッジ正規化を組み合わせることで、メモリ効率をさらに向上させることができる。
  論文  参考訳（メタデータ） (2020-09-18T15:25:08Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• BATS: Binary ArchitecTure Search [56.87581500474093]
  ニューラルアーキテクチャ検索をバイナリドメインに直接適用すると、非常に貧弱な結果が得られることを示す。 具体的には、新しいバイナリ指向検索空間を導入し、設計する。 また、CIFAR10、CIFAR100、ImageNetデータセット上に、バイナリニューラルネットワークのための新しい最先端技術も設定しました。
  論文  参考訳（メタデータ） (2020-03-03T18:57:02Z)
• BNAS:An Efficient Neural Architecture Search Approach Using Broad Scalable Architecture [62.587982139871976]
  我々はBCNN(Broad Convolutional Neural Network)と呼ばれる広義のスケーラブルなアーキテクチャを精巧に設計するBNAS(Broad Neural Architecture Search)を提案する。 BNASは0.19日であり、ENASよりも2.37倍安い。
  論文  参考訳（メタデータ） (2020-01-18T15:07:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。