論文の概要: Prior-Guided One-shot Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2206.13329v1
- Date: Mon, 27 Jun 2022 14:19:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-28 19:45:39.112471
- Title: Prior-Guided One-shot Neural Architecture Search
- Title（参考訳）: 先行ガイドによるワンショットニューラルアーキテクチャ探索
- Authors: Peijie Dong, Xin Niu, Lujun Li, Linzhen Xie, Wenbin Zou, Tian Ye,
Zimian Wei, Hengyue Pan
- Abstract要約: 我々は、スーパーネットのランキング相関を強化するために、プリエントガイドワンショットNAS(PGONAS)を提案する。
我々のPGONASはCVPR2022のスーパーネットトラックの3位にランクインしている。
- 参考スコア（独自算出の注目度）: 11.609732776776982
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural architecture search methods seek optimal candidates with efficient
weight-sharing supernet training. However, recent studies indicate poor ranking
consistency about the performance between stand-alone architectures and
shared-weight networks. In this paper, we present Prior-Guided One-shot NAS
(PGONAS) to strengthen the ranking correlation of supernets. Specifically, we
first explore the effect of activation functions and propose a balanced
sampling strategy based on the Sandwich Rule to alleviate weight coupling in
the supernet. Then, FLOPs and Zen-Score are adopted to guide the training of
supernet with ranking correlation loss. Our PGONAS ranks 3rd place in the
supernet Track Track of CVPR2022 Second lightweight NAS challenge. Code is
available in
https://github.com/pprp/CVPR2022-NAS?competition-Track1-3th-solution.
- Abstract（参考訳）: ニューラルネットワーク探索手法は、効率的な重み付けスーパーネットトレーニングによる最適候補を求める。
しかし、最近の研究では、スタンドアローンアーキテクチャと共有重みネットワークのパフォーマンスに関するランキング一貫性が低いことが示されている。
本稿では,スーパーネットのランキング相関を強化するために,プリエントガイドワンショットNAS(PGONAS)を提案する。
具体的には,まず活性化関数の効果を探求し,スーパーネットの重み結合を緩和するためのサンドウィッチ則に基づくバランスのとれたサンプリング戦略を提案する。
次に、FLOPとZen-Scoreを採用し、ランキング相関損失のあるスーパーネットのトレーニングを指導する。
我々のPGONASはCVPR2022のスーパーネットトラックの3位にランクインしている。
コードはhttps://github.com/pprp/CVPR2022-NAS?
コンペティショントラック1-3th-solution。
関連論文リスト
- Mixture-of-Supernets: Improving Weight-Sharing Supernet Training with Architecture-Routed Mixture-of-Experts [55.470959564665705]
ウェイトシェアリングスーパーネットは、最先端のニューラルサーチフレームワークのパフォーマンス評価に不可欠である。
提案手法は,高速機械翻訳モデルのためのNASにおける最先端(SoTA)性能を実現する。
メモリ効率のよいタスク非依存のBERTモデルを構築するためにNASが優れている。
論文 参考訳（メタデータ） (2023-06-08T00:35:36Z) - Improve Ranking Correlation of Super-net through Training Scheme from
One-shot NAS to Few-shot NAS [13.390484379343908]
ワンショットNASから少数ショットNASへのステップバイステップトレーニングスーパーネットスキームを提案する。
トレーニングスキームでは,まず1ショットでスーパーネットを訓練し,次にスーパーネットの重みを解体する。
CVPR20223th Lightweight NAS Challenge Track1では4位にランクインした。
論文 参考訳（メタデータ） (2022-06-13T04:02:12Z) - An Analysis of Super-Net Heuristics in Weight-Sharing NAS [70.57382341642418]
単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
論文 参考訳（メタデータ） (2021-10-04T02:18:44Z) - Pi-NAS: Improving Neural Architecture Search by Reducing Supernet
Training Consistency Shift [128.32670289503025]
最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。
アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。
このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。
この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
論文 参考訳（メタデータ） (2021-08-22T09:08:48Z) - Improving Ranking Correlation of Supernet with Candidates Enhancement
and Progressive Training [8.373420721376739]
ワンショットニューラルアーキテクチャサーチ(NAS)は、自動アーキテクチャ設計の計算オーバーヘッドを軽減するために、ウェイトシェアリングスーパーネットを適用している。
スーパーネットのランキング相関を改善するために,提案手法とプログレッシブトレーニングパイプラインを提案する。
CVPR 2021 1st Lightweight NAS Challengeの1位にランクインした。
論文 参考訳（メタデータ） (2021-08-12T17:27:10Z) - K-shot NAS: Learnable Weight-Sharing for NAS with K-shot Supernets [52.983810997539486]
我々は、$K$-shotスーパーネットを導入し、各操作の重みを辞書として取り込む。
textitsimplex-netを導入し、各パスに対してアーキテクチャにカスタマイズされたコードを生成する。
ベンチマークデータセットの実験では、KショットNASがパスの評価精度を大幅に向上することが示された。
論文 参考訳（メタデータ） (2021-06-11T14:57:36Z) - Landmark Regularization: Ranking Guided Super-Net Training in Neural
Architecture Search [70.57382341642418]
重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。
近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。
本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
論文 参考訳（メタデータ） (2021-04-12T09:32:33Z) - AlphaNet: Improved Training of Supernet with Alpha-Divergence [28.171262066145616]
より汎用的なアルファダイバージェンスでスーパーネットトレーニングを改善することを提案する。
提案するアルファディバージェンスに基づくスーパーネットトレーニングを,スリムブルニューラルネットワークと重み共有NASの両方に適用する。
特に、発見されたモデルファミリーであるAlphaNetは、幅広いFLOPシステムにおいて、先行技術モデルよりも優れています。
論文 参考訳（メタデータ） (2021-02-16T04:23:55Z) - GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet [63.96959854429752]
GreedyNASは簡単に追跡でき、ImageNetデータセットの実験結果から、同じ検索空間とFLOPまたはレイテンシレベルにおいて、Top-1の精度が向上することが示された。
より大きなスペースを探索することで、GreedyNASは新たな最先端アーキテクチャも取得できます。
論文 参考訳（メタデータ） (2020-03-25T06:54:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。