論文の概要: BNAS-v2: Memory-efficient and Performance-collapse-prevented Broad Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2009.08886v4
• Date: Mon, 25 Jan 2021 09:05:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 02:24:20.531822
• Title: BNAS-v2: Memory-efficient and Performance-collapse-prevented Broad Neural Architecture Search
• Title（参考訳）: BNAS-v2: メモリ効率と性能劣化防止ブロードニューラルアーキテクチャサーチ
• Authors: Zixiang Ding, Yaran Chen, Nannan Li and Dongbin Zhao
• Abstract要約: BCNNの両優位性を同時に具現化するBNAS-v2。 細胞の各端を全ての候補操作に関連付ける連続緩和戦略。 部分チャネル接続とエッジ正規化を組み合わせることで、メモリ効率をさらに向上させることができる。
• 参考スコア（独自算出の注目度）: 15.287692867984228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose BNAS-v2 to further improve the efficiency of NAS, embodying both superiorities of BCNN simultaneously. To mitigate the unfair training issue of BNAS, we employ continuous relaxation strategy to make each edge of cell in BCNN relevant to all candidate operations for over-parameterized BCNN construction. Moreover, the continuous relaxation strategy relaxes the choice of a candidate operation as a softmax over all predefined operations. Consequently, BNAS-v2 employs the gradient-based optimization algorithm to simultaneously update every possible path of over-parameterized BCNN, rather than the single sampled one as BNAS. However, continuous relaxation leads to another issue named performance collapse, in which those weight-free operations are prone to be selected by the search strategy. For this consequent issue, two solutions are given: 1) we propose Confident Learning Rate (CLR) that considers the confidence of gradient for architecture weights update, increasing with the training time of over-parameterized BCNN; 2) we introduce the combination of partial channel connections and edge normalization that also can improve the memory efficiency further. Moreover, we denote differentiable BNAS (i.e. BNAS with continuous relaxation) as BNAS-D, BNAS-D with CLR as BNAS-v2-CLR, and partial-connected BNAS-D as BNAS-v2-PC. Experimental results on CIFAR-10 and ImageNet show that 1) BNAS-v2 delivers state-of-the-art search efficiency on both CIFAR-10 (0.05 GPU days that is 4x faster than BNAS) and ImageNet (0.19 GPU days); and 2) the proposed CLR is effective to alleviate the performance collapse issue in both BNAS-D and vanilla differentiable NAS framework.
• Abstract（参考訳）: 本稿では,BCNNの両優位性を同時に具現化し,NASの効率をさらに向上するBNAS-v2を提案する。 BNASの不公平なトレーニング問題を緩和するために,我々は,BCNNにおけるセルの各エッジを,過度にパラメータ化されたBCNN構築のためのすべての候補操作に関連付けるために,連続緩和戦略を採用している。 さらに、連続緩和戦略は、予め定義された全ての操作に対してソフトマックスとして候補演算の選択を緩和する。 その結果、BNAS-v2は勾配に基づく最適化アルゴリズムを用いて、BNASとして単一のサンプルではなく、過パラメータ化されたBCNNの全ての経路を同時に更新する。 しかし、連続緩和は性能崩壊という別の問題につながり、これらの重みのない操作は探索戦略によって選択されやすい。 この問題に対して、2つの解決策が与えられる。 1)アーキテクチャウェイト更新の勾配の信頼度を考慮し,過パラメータ化BCNNのトレーニング時間の増加を考慮した信頼度学習率(CLR)を提案する。 2) 部分チャネル接続とエッジ正規化の組み合わせを導入することにより, メモリ効率をさらに向上する。 さらに, BNASをBNAS-D, CLRをBNAS-v2-CLR, 部分連結BNAS-DをBNAS-v2-PCとする。 CIFAR-10 と ImageNet による実験結果 1)BNAS-v2は、CIFAR-10(BNASより4倍速い0.05GPU日)とImageNet(0.19GPU日)の両方で最先端の検索効率を提供する。 2) 提案するclrは, bnas-dおよびバニラ微分可能なnasフレームワークにおける性能崩壊の軽減に有効である。

関連論文リスト

• Shrink-Perturb Improves Architecture Mixing during Population Based Training for Neural Architecture Search [62.997667081978825]
  ニューラルネットワークを同時にトレーニングし、混合することは、ニューラルネットワークサーチ(NAS)を実行するための有望な方法であることを示す。 PBT-NAS は PBT-NAS をNAS に適応させる手法であり,低性能なネットワークを個体群で置き換えることでアーキテクチャを改良し,良好な性能のネットワークを混合し,縮小パーターブ法を用いて重みを継承する手法を提案する。
  論文  参考訳（メタデータ） (2023-07-28T15:29:52Z)
• DropNAS: Grouped Operation Dropout for Differentiable Architecture Search [78.06809383150437]
  近年、DARTSは、ウェイトシェアリングとSGDを活用した微分可能な定式化により、検索プロセスを緩和している。 第一に、より多くのパラメータを持つ操作は、望まれる関数を表現する機会を持たないかもしれない。 そこで我々はDARTSの問題を解決するために,DropNASというグループ化されたオペレーションドロップアウトアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-27T17:28:23Z)
• Stacked BNAS: Rethinking Broad Convolutional Neural Network for Neural Architecture Search [16.6035648938434]
  検索空間が拡張性のあるアーキテクチャである Stacked BCNN を提案し,BNAS よりも優れた性能を示す。 一方、Stacked BCNNは、Mini-BCNNを包括的表現を保存し、強力な特徴抽出機能を提供する基本ブロックとして扱う。 一方,適切な知識埋め込みを学習するための知識埋め込み探索(KES)を提案する。
  論文  参考訳（メタデータ） (2021-11-15T12:49:27Z)
• BN-NAS: Neural Architecture Search with Batch Normalization [116.47802796784386]
  本稿では,Batch Normalization(BN-NAS)を用いたニューラルアーキテクチャサーチ(BN-NAS)を提案し,ニューラルアーキテクチャサーチ(NAS)を高速化する。 BN-NASはNASにおけるモデルトレーニングと評価に必要な時間を著しく短縮することができる。
  論文  参考訳（メタデータ） (2021-08-16T23:23:21Z)
• BenchENAS: A Benchmarking Platform for Evolutionary Neural Architecture Search [10.925662100634378]
  進化的計算に基づくNAS(ENAS)法は近年注目されている。 公平な比較と効率的な評価の問題は、ENASの開発を妨げている。 本稿では,これらの問題に対処するためのBenchENASというプラットフォームを開発する。
  論文  参考訳（メタデータ） (2021-08-09T07:59:03Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• DSNAS: Direct Neural Architecture Search without Parameter Retraining [112.02966105995641]
  この観測に基づいて,タスク固有のエンドツーエンドであるNASの新たな問題定義を提案する。 低バイアスモンテカルロ推定でアーキテクチャとパラメータを同時に最適化する効率的な微分可能なNASフレームワークであるDSNASを提案する。 DSNASは、420GPU時間でImageNetで同等の精度(74.4%)のネットワークを発見し、総時間を34%以上削減した。
  論文  参考訳（メタデータ） (2020-02-21T04:41:47Z)
• BNAS:An Efficient Neural Architecture Search Approach Using Broad Scalable Architecture [62.587982139871976]
  我々はBCNN(Broad Convolutional Neural Network)と呼ばれる広義のスケーラブルなアーキテクチャを精巧に設計するBNAS(Broad Neural Architecture Search)を提案する。 BNASは0.19日であり、ENASよりも2.37倍安い。
  論文  参考訳（メタデータ） (2020-01-18T15:07:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。