論文の概要: BN-NAS: Neural Architecture Search with Batch Normalization

• arxiv url: http://arxiv.org/abs/2108.07375v1
• Date: Mon, 16 Aug 2021 23:23:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 00:10:23.169613
• Title: BN-NAS: Neural Architecture Search with Batch Normalization
• Title（参考訳）: BN-NAS: バッチ正規化によるニューラルネットワーク検索
• Authors: Boyu Chen, Peixia Li, Baopu Li, Chen Lin, Chuming Li, Ming Sun, Junjie Yan, Wanli Ouyang
• Abstract要約: 本稿では,Batch Normalization(BN-NAS)を用いたニューラルアーキテクチャサーチ(BN-NAS)を提案し,ニューラルアーキテクチャサーチ(NAS)を高速化する。 BN-NASはNASにおけるモデルトレーニングと評価に必要な時間を著しく短縮することができる。
• 参考スコア（独自算出の注目度）: 116.47802796784386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present BN-NAS, neural architecture search with Batch Normalization (BN-NAS), to accelerate neural architecture search (NAS). BN-NAS can significantly reduce the time required by model training and evaluation in NAS. Specifically, for fast evaluation, we propose a BN-based indicator for predicting subnet performance at a very early training stage. The BN-based indicator further facilitates us to improve the training efficiency by only training the BN parameters during the supernet training. This is based on our observation that training the whole supernet is not necessary while training only BN parameters accelerates network convergence for network architecture search. Extensive experiments show that our method can significantly shorten the time of training supernet by more than 10 times and shorten the time of evaluating subnets by more than 600,000 times without losing accuracy.
• Abstract（参考訳）: 本稿では,Batch Normalization (BN-NAS) を用いたニューラルアーキテクチャサーチ(BN-NAS)を提案する。 BN-NASはNASにおけるモデルトレーニングと評価に必要な時間を著しく短縮することができる。 具体的には,非常に初期のトレーニング段階でのサブネット性能を予測するためのbnに基づく指標を提案する。 BNに基づくインジケータは,スーパーネットトレーニング中にのみBNパラメータをトレーニングすることで,トレーニング効率の向上を促進する。 これは、bnパラメータのみのトレーニングがネットワークアーキテクチャ探索のネットワーク収束を加速するのに対し、スーパーネット全体のトレーニングは必要ないという我々の観測に基づく。 広範な実験により,本手法はスーパーネットの訓練時間を10回以上短縮し,精度を損なうことなく,サブネットの評価時間を60万回以上短縮できることを示した。

関連論文リスト

• Shrink-Perturb Improves Architecture Mixing during Population Based Training for Neural Architecture Search [62.997667081978825]
  ニューラルネットワークを同時にトレーニングし、混合することは、ニューラルネットワークサーチ(NAS)を実行するための有望な方法であることを示す。 PBT-NAS は PBT-NAS をNAS に適応させる手法であり,低性能なネットワークを個体群で置き換えることでアーキテクチャを改良し,良好な性能のネットワークを混合し,縮小パーターブ法を用いて重みを継承する手法を提案する。
  論文  参考訳（メタデータ） (2023-07-28T15:29:52Z)
• Training BatchNorm Only in Neural Architecture Search and Beyond [17.21663067385715]
  BatchNormのトレーニングが、スーパーネットトレーニング時間を短縮したパフォーマンスウェルアーキテクチャのみを見つけることができる理由を理解するための努力はない。 列車BNのみのスーパーネットは、他の演算子よりも畳み込みに有利であり、アーキテクチャ間の不公平な競合を引き起こすことを示す。 3つの視点からネットワークを評価するための新しい複合性能指標を提案する。
  論文  参考訳（メタデータ） (2021-12-01T04:09:09Z)
• "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
  バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
  論文  参考訳（メタデータ） (2021-04-16T16:46:57Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• Revisiting Batch Normalization for Training Low-latency Deep Spiking Neural Networks from Scratch [5.511606249429581]
  ディープラーニングの代替手段としてスパイキングニューラルネットワーク(SNN)が登場している。 スクラッチからの高精度で低遅延のSNNは、スパイキングニューロンの非分化性の性質に悩まされる。 本稿では、時間的SNNのトレーニングのための時間的バッチ正規化(BNTT)手法を提案する。
  論文  参考訳（メタデータ） (2020-10-05T00:49:30Z)
• S3NAS: Fast NPU-aware Neural Architecture Search Methodology [2.607400740040335]
  S3NASと呼ばれる高速なNPU対応NAS手法を提案し,既存のNASよりも高精度なCNNアーキテクチャを提案する。 TPUv3を使って3時間でネットワークを見つけることができ、11.66ミリ秒のレイテンシでImageNetの82.72%のトップ1の精度を示している。
  論文  参考訳（メタデータ） (2020-09-04T04:45:50Z)
• Neural Architecture Search without Training [8.067283219068832]
  本研究では,未学習ネットワークにおけるデータポイント間のアクティベーションの重複について検討する。 ネットワークのトレーニングされたパフォーマンスを示すのに有用な指標を、どのように提供できるかを動機付けます。 この測度を単純なアルゴリズムに組み込むことで、単一のGPU上で数秒のトレーニングをすることなく、強力なネットワークを検索できるのです。
  論文  参考訳（メタデータ） (2020-06-08T14:53:56Z)
• BNAS:An Efficient Neural Architecture Search Approach Using Broad Scalable Architecture [62.587982139871976]
  我々はBCNN(Broad Convolutional Neural Network)と呼ばれる広義のスケーラブルなアーキテクチャを精巧に設計するBNAS(Broad Neural Architecture Search)を提案する。 BNASは0.19日であり、ENASよりも2.37倍安い。
  論文  参考訳（メタデータ） (2020-01-18T15:07:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。