論文の概要: An Analysis of Super-Net Heuristics in Weight-Sharing NAS

• arxiv url: http://arxiv.org/abs/2110.01154v1
• Date: Mon, 4 Oct 2021 02:18:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 00:48:27.114579
• Title: An Analysis of Super-Net Heuristics in Weight-Sharing NAS
• Title（参考訳）: 軽量NASにおける超ネットヒューリスティックスの解析
• Authors: Kaicheng Yu, Ren\'e Ranftl, Mathieu Salzmann
• Abstract要約: 単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。 単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 70.57382341642418
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Weight sharing promises to make neural architecture search (NAS) tractable even on commodity hardware. Existing methods in this space rely on a diverse set of heuristics to design and train the shared-weight backbone network, a.k.a. the super-net. Since heuristics substantially vary across different methods and have not been carefully studied, it is unclear to which extent they impact super-net training and hence the weight-sharing NAS algorithms. In this paper, we disentangle super-net training from the search algorithm, isolate 14 frequently-used training heuristics, and evaluate them over three benchmark search spaces. Our analysis uncovers that several commonly-used heuristics negatively impact the correlation between super-net and stand-alone performance, whereas simple, but often overlooked factors, such as proper hyper-parameter settings, are key to achieve strong performance. Equipped with this knowledge, we show that simple random search achieves competitive performance to complex state-of-the-art NAS algorithms when the super-net is properly trained.
• Abstract（参考訳）: 重み共有は、コモディティハードウェア上でもneural architecture search(nas)を扱いやすくすることを約束している。 既存の手法は、共有重み付きバックボーンネットワーク、すなわちスーパーネットを設計し、訓練するための多様なヒューリスティックに依存している。 ヒューリスティックスは様々な手法で大きく異なり、慎重に研究されていないため、それがスーパーネットトレーニングや重み付けNASアルゴリズムにどの程度影響するかは定かではない。 本稿では,スーパーネットのトレーニングを検索アルゴリズムから分離し,14のトレーニングヒューリスティックを分離し,それらを3つのベンチマーク検索空間で評価する。 分析の結果,スーパーネットとスタンドアローンのパフォーマンスの相関性は,いくつかの一般的なヒューリスティックスが負の影響を与えることが判明した。 この知識を応用して,スーパーネットを適切にトレーニングした場合,単純なランダム検索は複雑なNASアルゴリズムと競合する性能を発揮することを示す。

関連論文リスト

• Prior-Guided One-shot Neural Architecture Search [11.609732776776982]
  我々は、スーパーネットのランキング相関を強化するために、プリエントガイドワンショットNAS(PGONAS)を提案する。 我々のPGONASはCVPR2022のスーパーネットトラックの3位にランクインしている。
  論文  参考訳（メタデータ） (2022-06-27T14:19:56Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search [70.57382341642418]
  重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。 近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。 本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
  論文  参考訳（メタデータ） (2021-04-12T09:32:33Z)
• Weight-Sharing Neural Architecture Search: A Battle to Shrink the Optimization Gap [90.93522795555724]
  ニューラルアーキテクチャサーチ(NAS)は、学術と産業の両方で注目を集めている。 重み共有手法は、多くのアーキテクチャが同一のスーパーネットワークで重みを共有している。 本稿では,NAS,特に重み付け手法に関する文献レビューを行う。
  論文  参考訳（メタデータ） (2020-08-04T11:57:03Z)
• How to Train Your Super-Net: An Analysis of Training Heuristics in Weight-Sharing NAS [64.50415611717057]
  我々は,スーパーネットトレーニングにおける一般的なベースラインが,スーパーネットとスタンドアローンのパフォーマンスの相関に負の影響を及ぼすことを示した。 私たちのコードと実験は、将来の作業が構築できる、強く再現可能なベースラインを設定しました。
  論文  参考訳（メタデータ） (2020-03-09T17:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。