論文の概要: GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet
- arxiv url: http://arxiv.org/abs/2003.11236v1
- Date: Wed, 25 Mar 2020 06:54:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 02:40:23.989435
- Title: GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet
- Title（参考訳）: GreedyNAS: Greedy Supernetで高速ワンショットNASを目指す
- Authors: Shan You, Tao Huang, Mingmin Yang, Fei Wang, Chen Qian, Changshui
Zhang
- Abstract要約: GreedyNASは簡単に追跡でき、ImageNetデータセットの実験結果から、同じ検索空間とFLOPまたはレイテンシレベルにおいて、Top-1の精度が向上することが示された。
より大きなスペースを探索することで、GreedyNASは新たな最先端アーキテクチャも取得できます。
- 参考スコア（独自算出の注目度）: 63.96959854429752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training a supernet matters for one-shot neural architecture search (NAS)
methods since it serves as a basic performance estimator for different
architectures (paths). Current methods mainly hold the assumption that a
supernet should give a reasonable ranking over all paths. They thus treat all
paths equally, and spare much effort to train paths. However, it is harsh for a
single supernet to evaluate accurately on such a huge-scale search space (e.g.,
$7^{21}$). In this paper, instead of covering all paths, we ease the burden of
supernet by encouraging it to focus more on evaluation of those
potentially-good ones, which are identified using a surrogate portion of
validation data. Concretely, during training, we propose a multi-path sampling
strategy with rejection, and greedily filter the weak paths. The training
efficiency is thus boosted since the training space has been greedily shrunk
from all paths to those potentially-good ones. Moreover, we further adopt an
exploration and exploitation policy by introducing an empirical candidate path
pool. Our proposed method GreedyNAS is easy-to-follow, and experimental results
on ImageNet dataset indicate that it can achieve better Top-1 accuracy under
same search space and FLOPs or latency level, but with only $\sim$60\% of
supernet training cost. By searching on a larger space, our GreedyNAS can also
obtain new state-of-the-art architectures.
- Abstract（参考訳）: スーパーネットのトレーニングは、異なるアーキテクチャ(パス)の基本的なパフォーマンス推定器として機能するため、ワンショットのニューラルアーキテクチャサーチ(NAS)手法で重要である。
現在の方法は、スーパーネットがすべての経路に対して合理的なランキングを与えるべきだという仮定を主に持っている。
したがって、全ての経路を等しく扱い、経路を訓練するのに多くの労力を要す。
しかし、1つのスーパーネットがそのような巨大な検索空間(例:7^{21}$)で正確に評価することは厳しい。
本稿では,全ての経路を網羅する代わりに,検証データのサロゲート部分を用いて同定した,潜在的に良いものの評価にもっと集中するように促すことにより,スーパーネットの負担を軽減する。
具体的には, 訓練中, 拒否を伴うマルチパスサンプリング戦略を提案し, 弱経路を厳格にフィルタリングする。
トレーニングの効率は、トレーニングスペースがあらゆる経路から潜在的に良質なものへと著しく縮小されているため、向上する。
さらに,経験的候補パスプールを導入することで,探索と搾取の方針をさらに取り入れる。
提案手法であるGreedyNASは追跡が容易であり,ImageNetデータセットを用いた実験結果から,検索空間やFLOP,遅延レベルではTop-1の精度が向上するが,スーパーネットトレーニングコストは$$60\%に留まることがわかった。
より大きなスペースを探索することで、GreedyNASは新たな最先端アーキテクチャも取得できます。
関連論文リスト
- Robust and Efficient Transfer Learning via Supernet Transfer in Warm-started Neural Architecture Search [4.19475889117731]
Neural Architecture Search (NAS)フレームワークは、AIの民主化を支援する有用な、人気のあるソリューションを提供する。
NASフレームワークは、しばしば計算コストがかかるため、適用性とアクセシビリティが制限される。
最適輸送やマルチデータセット保持に基づいて,事前学習したスーパーネットを効果的に転送できる新しいトランスファー学習手法を提案する。
論文 参考訳（メタデータ） (2024-07-26T00:17:57Z) - PA&DA: Jointly Sampling PAth and DAta for Consistent NAS [8.737995937682271]
ワンショットNASメソッドはスーパーネットをトレーニングし、トレーニング済みの重みを継承してサブモデルを評価する。
大規模な勾配分散は、スーパーネットのトレーニング中に発生し、スーパーネットのランキング一貫性を低下させる。
本稿では,PAth と DAta のサンプリング分布を最適化することにより,スーパーネットトレーニングの勾配分散を明示的に最小化することを提案する。
論文 参考訳（メタデータ） (2023-02-28T17:14:24Z) - Prior-Guided One-shot Neural Architecture Search [11.609732776776982]
我々は、スーパーネットのランキング相関を強化するために、プリエントガイドワンショットNAS(PGONAS)を提案する。
我々のPGONASはCVPR2022のスーパーネットトラックの3位にランクインしている。
論文 参考訳（メタデータ） (2022-06-27T14:19:56Z) - GreedyNASv2: Greedier Search with a Greedy Path Filter [70.64311838369707]
ワンショットNAS法では、検索スペースは通常かなり大きい(例えば1321ドル)。
本稿では,明示的な経路フィルタを用いて経路の特性を抽出し,弱い経路を直接フィルタする。
例えば、取得したGreedyNASv2-Lは、ImageNetデータセットで811.1%のTop-1精度を実現し、ResNet-50の強いベースラインを著しく上回っている。
論文 参考訳（メタデータ） (2021-11-24T16:32:29Z) - Pi-NAS: Improving Neural Architecture Search by Reducing Supernet
Training Consistency Shift [128.32670289503025]
最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。
アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。
このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。
この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
論文 参考訳（メタデータ） (2021-08-22T09:08:48Z) - OPANAS: One-Shot Path Aggregation Network Architecture Search for Object
Detection [82.04372532783931]
近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。
本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-08T01:48:53Z) - Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural
Architecture Search [60.965024145243596]
ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。
この問題を軽減するため, 単純で効果的な蒸留法を提案する。
本稿では、訓練中に優れた性能を示すアーキテクチャ候補を指す優先順位付けパスの概念を紹介する。
優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
論文 参考訳（メタデータ） (2020-10-29T17:55:05Z) - DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である
本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。
従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
論文 参考訳（メタデータ） (2020-03-27T17:55:21Z) - NAS evaluation is frustratingly hard [1.7188280334580197]
Neural Architecture Search(NAS)は、2012年のConvolutional Neural Networksと同じくらい、ゲームチェンジャーになることを約束する、エキサイティングな新しい分野だ。
異なるメソッドの比較は、まだ非常にオープンな問題です。
最初のコントリビューションは、データセット5ドルに対する8ドルのNASメソッドのベンチマークです。
論文 参考訳（メタデータ） (2019-12-28T21:24:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。