論文の概要: Boosting Order-Preserving and Transferability for Neural Architecture Search: a Joint Architecture Refined Search and Fine-tuning Approach
- arxiv url: http://arxiv.org/abs/2403.11380v1
- Date: Mon, 18 Mar 2024 00:13:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 17:07:30.155189
- Title: Boosting Order-Preserving and Transferability for Neural Architecture Search: a Joint Architecture Refined Search and Fine-tuning Approach
- Title（参考訳）: ニューラルアーキテクチャ探索のための順序保存と転送性の向上:統合アーキテクチャ改良検索と微調整アプローチ
- Authors: Beichen Zhang, Xiaoxing Wang, Xiaohan Qin, Junchi Yan,
- Abstract要約: 本稿では,アーキテクチャ探索とスーパーネットファインチューニングを組み合わせた検索手法であるSupernet Shiftingを提案する。
我々は、Supernet Shiftingが新しいデータセットにスーパーネットを転送できることを示す。
総合的な実験により,本手法の順序保存能力は向上し,支配的アーキテクチャを見出すことができた。
- 参考スコア（独自算出の注目度）: 57.175488207316654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Supernet is a core component in many recent Neural Architecture Search (NAS) methods. It not only helps embody the search space but also provides a (relative) estimation of the final performance of candidate architectures. Thus, it is critical that the top architectures ranked by a supernet should be consistent with those ranked by true performance, which is known as the order-preserving ability. In this work, we analyze the order-preserving ability on the whole search space (global) and a sub-space of top architectures (local), and empirically show that the local order-preserving for current two-stage NAS methods still need to be improved. To rectify this, we propose a novel concept of Supernet Shifting, a refined search strategy combining architecture searching with supernet fine-tuning. Specifically, apart from evaluating, the training loss is also accumulated in searching and the supernet is updated every iteration. Since superior architectures are sampled more frequently in evolutionary searching, the supernet is encouraged to focus on top architectures, thus improving local order-preserving. Besides, a pre-trained supernet is often un-reusable for one-shot methods. We show that Supernet Shifting can fulfill transferring supernet to a new dataset. Specifically, the last classifier layer will be unset and trained through evolutionary searching. Comprehensive experiments show that our method has better order-preserving ability and can find a dominating architecture. Moreover, the pre-trained supernet can be easily transferred into a new dataset with no loss of performance.
- Abstract（参考訳）: Supernetは、最近の多くのNeural Architecture Search(NAS)メソッドの中核的なコンポーネントである。
探索空間を具現化するだけでなく、候補アーキテクチャの最終的な性能を(相対的に)推定する。
したがって、スーパーネットでランク付けされた上位アーキテクチャは、オーダー保存能力として知られる真のパフォーマンスでランク付けされたアーキテクチャと一致すべきである。
本研究では,検索空間全体(グローバル)とトップアーキテクチャのサブ空間(ローカル)の順序保存能力を解析し,現在の2段階NAS手法の局所順序保存を改良する必要があることを実証的に示す。
そこで本研究では,アーキテクチャ検索とスーパーネットファインチューニングを組み合わせた検索手法であるSupernet Shiftingを提案する。
具体的には、評価とは別に、トレーニング損失も検索に蓄積され、スーパーネットはイテレーション毎に更新される。
進化探索において優れたアーキテクチャはより頻繁にサンプリングされるため、スーパーネットはトップアーキテクチャに焦点を合わせ、局所的な順序保存を改善することが推奨される。
また、訓練済みのスーパーネットはワンショット方式では再利用できないことが多い。
我々は、Supernet Shiftingが新しいデータセットにスーパーネットを転送できることを示す。
特に、最後の分類器層は、進化探索によってアンセットされ、訓練される。
総合的な実験により,本手法の順序保存能力は向上し,支配的アーキテクチャを見出すことができた。
さらに、トレーニング済みのスーパーネットは、パフォーマンスを損なうことなく、新しいデータセットに簡単に転送できる。
関連論文リスト
- The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol [2.4300749758571905]
勾配に基づく手法は離散化誤差に悩まされ、最終的なアーキテクチャを得る過程を著しく損なう可能性がある。
本稿では,連続的なアーキテクチャの復号化に依存しない新しい単一ステージ探索プロトコルを提案する。
本手法は,Cityscapes検証データセットの検索段階において75.3%の精度で他のDNAS法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-05-26T15:44:53Z) - Improving Differentiable Architecture Search via Self-Distillation [20.596850268316565]
微分可能アーキテクチャサーチ(DARTS)は、単純だが効率的なニューラルアーキテクチャサーチ(NAS)手法である。
本稿では,自己拡散微分可能なニューラルアーキテクチャ探索(SD-DARTS)を提案する。
論文 参考訳（メタデータ） (2023-02-11T08:58:55Z) - Novelty Driven Evolutionary Neural Architecture Search [6.8129169853808795]
進化的アルゴリズム(EA)ベースのニューラルアーキテクチャサーチ(NAS)は、各アーキテクチャをスクラッチからトレーニングすることで評価する。
NEvoNASと呼ばれる手法では、NAS問題は2つの目的を持つ多目的問題として提起される: (i) アーキテクチャの新規性を最大化し、 (ii) アーキテクチャの適合性と正確性を最大化する。
NSGA-IIはNAS問題のためのテキストパレート最適フロントを見つけるのに使われ、検索されたアーキテクチャとしてパレートフロントで最高のアーキテクチャが返される。
論文 参考訳（メタデータ） (2022-04-01T03:32:55Z) - Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。
Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。
Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
論文 参考訳（メタデータ） (2022-03-29T03:06:16Z) - Neural Architecture Search using Progressive Evolution [6.8129169853808795]
進化的アルゴリズムを用いたニューラルアーキテクチャ探索のためのpEvoNASという手法を提案する。
ニューラルネットワーク全体の検索空間は、より小さな検索領域に徐々に縮小され、優れたアーキテクチャを持つ。
pEvoNAS は CIFAR-10 と CIFAR-100 に対して,従来の EA ベースの手法に比べて計算資源が大幅に少ない。
論文 参考訳（メタデータ） (2022-03-03T08:15:14Z) - Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。
本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。
提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
論文 参考訳（メタデータ） (2021-08-10T00:53:39Z) - Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-21T01:58:43Z) - GOLD-NAS: Gradual, One-Level, Differentiable [100.12492801459105]
GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。
1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
論文 参考訳（メタデータ） (2020-07-07T10:37:49Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳（メタデータ） (2020-05-29T09:02:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。