論文の概要: Searching by Generating: Flexible and Efficient One-Shot NAS with Architecture Generator

• arxiv url: http://arxiv.org/abs/2103.07289v1
• Date: Fri, 12 Mar 2021 14:04:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-15 16:25:01.489309
• Title: Searching by Generating: Flexible and Efficient One-Shot NAS with Architecture Generator
• Title（参考訳）: 生成による検索:アーキテクチャジェネレータによる柔軟で効率的なワンショットNAS
• Authors: Sian-Yao Huang and Wei-Ta Chu
• Abstract要約: ワンショットNASでは、異なるハードウェア制約を満たすために、サブネットワークをスーパーネットから検索する必要がある。 サブネットワークを生成させることで検索するアーキテクチャージェネレーターと呼ばれる新しい検索戦略を提案する。 また,検索効率をさらに高めるために,unified supernetと呼ばれる新しい単一パススーパーネットを提案する。
• 参考スコア（独自算出の注目度）: 4.721069729610892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In one-shot NAS, sub-networks need to be searched from the supernet to meet different hardware constraints. However, the search cost is high and $N$ times of searches are needed for $N$ different constraints. In this work, we propose a novel search strategy called architecture generator to search sub-networks by generating them, so that the search process can be much more efficient and flexible. With the trained architecture generator, given target hardware constraints as the input, $N$ good architectures can be generated for $N$ constraints by just one forward pass without re-searching and supernet retraining. Moreover, we propose a novel single-path supernet, called unified supernet, to further improve search efficiency and reduce GPU memory consumption of the architecture generator. With the architecture generator and the unified supernet, we propose a flexible and efficient one-shot NAS framework, called Searching by Generating NAS (SGNAS). With the pre-trained supernt, the search time of SGNAS for $N$ different hardware constraints is only 5 GPU hours, which is $4N$ times faster than previous SOTA single-path methods. After training from scratch, the top1-accuracy of SGNAS on ImageNet is 77.1%, which is comparable with the SOTAs. The code is available at: https://github.com/eric8607242/SGNAS.
• Abstract（参考訳）: ワンショットNASでは、異なるハードウェア制約を満たすために、サブネットワークをスーパーネットから検索する必要がある。 しかし、検索コストは高く、N$の異なる制約に対して、検索回数は$N$である。 本研究では,検索処理をより効率的かつ柔軟にするために,サブネットワークを生成させることで検索するアーキテクチャジェネレータと呼ばれる新しい検索戦略を提案する。 訓練されたアーキテクチャジェネレーターにより、ターゲットハードウェアの制約を入力として、$N$の優れたアーキテクチャは、再検索とスーパーネットの再トレーニングなしで1つのフォワードパスで$N$の制約で生成できます。 さらに,新たなシングルパススーパーネットであるUnified Supernetを提案し,検索効率の向上とアーキテクチャジェネレータのGPUメモリ消費の削減を図る。 アーキテクチャジェネレータと統一スーパーネットにより、柔軟で効率的なNASフレームワークであるSearching by Generating NAS(SGNAS)を提案します。 事前訓練されたスーパーントでは、ハードウェアの制約が異なる$ N$のSGNASの検索時間はわずか5 GPU時間であり、従来のSOTAシングルパスメソッドよりも4N$の速度です。 スクラッチからトレーニングした後、ImageNet上のSGNASのトップ1精度は77.1%であり、SOTAに匹敵する。 コードはhttps://github.com/eric8607242/sgnas。

関連論文リスト

• LayerNAS: Neural Architecture Search in Polynomial Complexity [18.36070437021082]
  我々は多目的NASの課題に対処するためにLayerNASを提案する。 LayerNASグループは、モデルサイズやレイテンシなどの1つの目的に基づいて候補をモデル化し、別の目的に基づいて最適なモデルを探す。 実験の結果,LayerNASは様々な検索空間にまたがる優れたモデルを見つけることができることがわかった。
  論文  参考訳（メタデータ） (2023-04-23T02:08:00Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• Novelty Driven Evolutionary Neural Architecture Search [6.8129169853808795]
  進化的アルゴリズム(EA)ベースのニューラルアーキテクチャサーチ(NAS)は、各アーキテクチャをスクラッチからトレーニングすることで評価する。 NEvoNASと呼ばれる手法では、NAS問題は2つの目的を持つ多目的問題として提起される: (i) アーキテクチャの新規性を最大化し、 (ii) アーキテクチャの適合性と正確性を最大化する。 NSGA-IIはNAS問題のためのテキストパレート最適フロントを見つけるのに使われ、検索されたアーキテクチャとしてパレートフロントで最高のアーキテクチャが返される。
  論文  参考訳（メタデータ） (2022-04-01T03:32:55Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• Neural Architecture Search with Random Labels [16.18010700582234]
  ランダムラベル(RLNAS)を用いたニューラルアーキテクチャサーチ(NAS)パラダイムの新しい変種について検討する。 RLNASは、PC-DARTSやSingle Path One-Shotのような最先端のNAS手法と比較すると、同等またはそれ以上の結果が得られる。
  論文  参考訳（メタデータ） (2021-01-28T06:41:48Z)
• Memory-Efficient Hierarchical Neural Architecture Search for Image Restoration [68.6505473346005]
  メモリ効率の高い階層型NAS HiNAS(HiNAS)を提案する。 単一の GTX1080Ti GPU では、BSD 500 でネットワークを消すのに約 1 時間、DIV2K で超解像構造を探すのに 3.5 時間しかかかりません。
  論文  参考訳（メタデータ） (2020-12-24T12:06:17Z)
• FP-NAS: Fast Probabilistic Neural Architecture Search [49.21560787752714]
  PARSECのような確率的NASは高性能アーキテクチャ上の分布を学習し、単一のモデルをトレーニングするのに必要なメモリだけを使用する。 本稿では,分布エントロピーに適応したサンプリング手法を提案する。 FP-NAS(Fast Probabilistic NAS)はアーキテクチャを64%削減し、PARSECより2.1倍高速に検索できることを示す。
  論文  参考訳（メタデータ） (2020-11-22T06:10:05Z)
• S3NAS: Fast NPU-aware Neural Architecture Search Methodology [2.607400740040335]
  S3NASと呼ばれる高速なNPU対応NAS手法を提案し,既存のNASよりも高精度なCNNアーキテクチャを提案する。 TPUv3を使って3時間でネットワークを見つけることができ、11.66ミリ秒のレイテンシでImageNetの82.72%のトップ1の精度を示している。
  論文  参考訳（メタデータ） (2020-09-04T04:45:50Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。