論文の概要: SWAP-NAS: Sample-Wise Activation Patterns for Ultra-fast NAS

• arxiv url: http://arxiv.org/abs/2403.04161v3
• Date: Wed, 13 Mar 2024 00:40:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 10:59:05.172374
• Title: SWAP-NAS: Sample-Wise Activation Patterns for Ultra-fast NAS
• Title（参考訳）: SWAP-NAS:超高速NASのためのサンプルワイズ活性化パターン
• Authors: Yameng Peng, Andy Song, Haytham M. Fayek, Vic Ciesielski, Xiaojun Chang
• Abstract要約: トレーニング不要のメトリクスは、リソース集約型ニューラルネットワークトレーニングを避けるために広く使用されている。 我々は,新しい高性能トレーニングフリーメトリックであるSWAP-ScoreとSample-Wise Activation Patternsを提案する。 SWAP-Scoreは,様々な検索空間やタスクの接地構造と強く相関している。
• 参考スコア（独自算出の注目度）: 37.593905448455125
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Training-free metrics (a.k.a. zero-cost proxies) are widely used to avoid resource-intensive neural network training, especially in Neural Architecture Search (NAS). Recent studies show that existing training-free metrics have several limitations, such as limited correlation and poor generalisation across different search spaces and tasks. Hence, we propose Sample-Wise Activation Patterns and its derivative, SWAP-Score, a novel high-performance training-free metric. It measures the expressivity of networks over a batch of input samples. The SWAP-Score is strongly correlated with ground-truth performance across various search spaces and tasks, outperforming 15 existing training-free metrics on NAS-Bench-101/201/301 and TransNAS-Bench-101. The SWAP-Score can be further enhanced by regularisation, which leads to even higher correlations in cell-based search space and enables model size control during the search. For example, Spearman's rank correlation coefficient between regularised SWAP-Score and CIFAR-100 validation accuracies on NAS-Bench-201 networks is 0.90, significantly higher than 0.80 from the second-best metric, NWOT. When integrated with an evolutionary algorithm for NAS, our SWAP-NAS achieves competitive performance on CIFAR-10 and ImageNet in approximately 6 minutes and 9 minutes of GPU time respectively.
• Abstract（参考訳）: トレーニングフリーなメトリクス(すなわちゼロコストプロキシ)は、特にニューラルアーキテクチャサーチ(NAS)において、リソース集約型ニューラルネットワークトレーニングを避けるために広く使用されている。 近年の研究では、既存のトレーニングフリーメトリクスには、相関の限定や、異なる検索空間やタスク間の一般化の欠如など、いくつかの制限があることが示された。 そこで本研究では,Sample-Wise Activation Patternsとその派生品であるSWAP-Scoreを提案する。 入力サンプルのバッチ上でのネットワークの表現性を測定する。 SWAPスコアは,NAS-Bench-101/201/301 と TransNAS-Bench-101 において,既存のトレーニング不要の指標を15 以上上回った。 SWAP-Scoreは正規化によってさらに強化され、セルベースの検索空間の相関がさらに高められ、検索中のモデルサイズ制御が可能となる。 例えば、NAS-Bench-201ネットワーク上の正規化SWAP-ScoreとCIFAR-100の検証精度のSpearmanのランク相関係数は0.90であり、第2の基準であるNWOTよりは0.80よりかなり高い。 NASの進化的アルゴリズムと統合すると、SWAP-NASは、約6分9分でCIFAR-10とImageNetの競合性能を達成する。

関連論文リスト

• TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search [1.30891455653235]
  TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。 TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。 TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
  論文  参考訳（メタデータ） (2024-03-30T07:25:30Z)
• DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
  本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。 具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。 本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。 BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
  論文  参考訳（メタデータ） (2023-05-26T13:58:18Z)
• Divide-and-Conquer the NAS puzzle in Resource Constrained Federated Learning Systems [5.53904487910875]
  我々は,超ネットベースのニューラルアーキテクチャサーチ(NAS)を,探索空間を体系的にサンプリングすることで,分散・分散方式のDC-NASを提案する。 提案手法は,サンプルを最大に分離したアダマールサンプリングなど,いくつかのサンプリング手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-11T20:57:29Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• Efficient Architecture Search for Diverse Tasks [29.83517145790238]
  多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。 本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。 DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
  論文  参考訳（メタデータ） (2022-04-15T17:21:27Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• Zero-Cost Proxies for Lightweight NAS [19.906217380811373]
  本研究では,従来の還元学習プロキシを評価し,検索中における複数のモデル間のランキング保持率を定量化する。 モデルスコアを計算するために,トレーニングデータの1つのミニバッチのみを使用するゼロコストプロキシのシリーズを提案する。 ゼロコストプロキシは3桁の計算量が少ないが、従来のプロキシとマッチし、さらに優れています。
  論文  参考訳（メタデータ） (2021-01-20T13:59:52Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。