論文の概要: Revisiting Training-free NAS Metrics: An Efficient Training-based Method
- arxiv url: http://arxiv.org/abs/2211.08666v1
- Date: Wed, 16 Nov 2022 04:47:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 15:32:23.145707
- Title: Revisiting Training-free NAS Metrics: An Efficient Training-based Method
- Title（参考訳）: トレーニングフリーnasメトリクスの再検討:効率的なトレーニングベース手法
- Authors: Taojiannan Yang, Linjie Yang, Xiaojie Jin, Chen Chen
- Abstract要約: 最近のニューラルネットワークサーチ(NAS)では、ネットワークをランク付けするためのトレーニング不要なメトリクスが提案されている。
トレーニングなしのメトリクスを再検討し、パラメータの数(#Param)が以前の研究で見過ごされていることに気付きました。
実験の結果,#Param情報が得られない場合,最近のトレーニングフリーメトリクスのパフォーマンスは劇的に低下することがわかった。
本稿では,#Paramとの相関が弱い軽量なトレーニングベースメトリクスを提案する。
- 参考スコア（独自算出の注目度）: 31.500454526978707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent neural architecture search (NAS) works proposed training-free metrics
to rank networks which largely reduced the search cost in NAS. In this paper,
we revisit these training-free metrics and find that: (1) the number of
parameters (\#Param), which is the most straightforward training-free metric,
is overlooked in previous works but is surprisingly effective, (2) recent
training-free metrics largely rely on the \#Param information to rank networks.
Our experiments show that the performance of recent training-free metrics drops
dramatically when the \#Param information is not available. Motivated by these
observations, we argue that metrics less correlated with the \#Param are
desired to provide additional information for NAS. We propose a light-weight
training-based metric which has a weak correlation with the \#Param while
achieving better performance than training-free metrics at a lower search cost.
Specifically, on DARTS search space, our method completes searching directly on
ImageNet in only 2.6 GPU hours and achieves a top-1/top-5 error rate of
24.1\%/7.1\%, which is competitive among state-of-the-art NAS methods. Codes
are available at \url{https://github.com/taoyang1122/Revisit_TrainingFree_NAS}
- Abstract（参考訳）: 最近のneural architecture search (nas)は、ネットワークのランク付けのためのトレーニングフリーメトリクスを提案し、nasの検索コストを大幅に削減した。
本稿では,(1)最も単純なトレーニングフリーメトリクスであるパラメータ数(\#param)は,従来の作業では見過ごされているが,驚くほど効果的である,(2)最近のトレーニングフリーメトリクスでは,ランク付けネットワークに対する\#param情報に大きく依存している,という結論を得た。
実験の結果,最近のトレーニングフリーメトリクスのパフォーマンスは,#Param情報が得られない場合に劇的に低下することがわかった。
これらの観察に動機づけられて、測定値と \#param との相関が小さいことは、nasに追加情報を提供することが望ましいと論じている。
本稿では,より少ない検索コストでトレーニングフリーのメトリクスよりも優れた性能を達成しつつ,#Paramとの相関が弱い軽量なトレーニングベースメトリクスを提案する。
具体的には、DARTS検索空間上では、ImageNetを直接2.6GPU時間で検索し、最先端NAS法と競合する24.1\%/7.1\%のトップ-1/トップ5エラー率を達成する。
コードは \url{https://github.com/taoyang1122/revisit_trainingfree_nas} で利用可能である。
関連論文リスト
- Robustifying and Boosting Training-Free Neural Architecture Search [49.828875134088904]
本稿では,多種多様なタスクにおいて,頑健で一貫したパフォーマンスの指標を開発するために,トレーニング不要なNAS (RoBoT) アルゴリズムを提案する。
注目すべきは、我々のRoBoTの期待性能が理論的に保証され、既存のトレーニングフリーNASよりも改善されることだ。
論文 参考訳（メタデータ） (2024-03-12T12:24:11Z) - SWAP-NAS: Sample-Wise Activation Patterns for Ultra-fast NAS [35.041289296298565]
トレーニング不要のメトリクスは、リソース集約型ニューラルネットワークトレーニングを避けるために広く使用されている。
我々は,新しい高性能トレーニングフリーメトリックであるSWAP-ScoreとSample-Wise Activation Patternsを提案する。
SWAP-Scoreは,様々な検索空間やタスクの接地構造と強く相関している。
論文 参考訳（メタデータ） (2024-03-07T02:40:42Z) - Neural Architecture Search via Two Constant Shared Weights Initialisations [0.0]
本研究では,NAS-Bench-101,NAS-Bench-201,NAS-Bench-NLPベンチマークデータセット間で,列車セットの精度と高い相関性を示すゼロコスト指標を提案する。
提案手法は既存のNASアルゴリズムに簡単に組み込むことができ,1つのネットワークを評価するのに1秒程度の時間を要する。
論文 参考訳（メタデータ） (2023-02-09T02:25:38Z) - Training BatchNorm Only in Neural Architecture Search and Beyond [17.21663067385715]
BatchNormのトレーニングが、スーパーネットトレーニング時間を短縮したパフォーマンスウェルアーキテクチャのみを見つけることができる理由を理解するための努力はない。
列車BNのみのスーパーネットは、他の演算子よりも畳み込みに有利であり、アーキテクチャ間の不公平な競合を引き起こすことを示す。
3つの視点からネットワークを評価するための新しい複合性能指標を提案する。
論文 参考訳（メタデータ） (2021-12-01T04:09:09Z) - Understanding and Accelerating Neural Architecture Search with
Training-Free and Theory-Grounded Metrics [117.4281417428145]
この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。
NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。
我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
論文 参考訳（メタデータ） (2021-08-26T17:52:07Z) - Prioritized Architecture Sampling with Monto-Carlo Tree Search [54.72096546595955]
ワンショットニューラルアーキテクチャサーチ(NAS)法は,検索空間全体を1つのネットワークとして考えることにより,検索コストを大幅に削減する。
本稿では,モンテカルロ木(MCT)をモデルとした探索空間を用いたモンテカルロ木探索(MCTS)に基づくサンプリング戦略について紹介する。
公平な比較のために、CIFAR-10で評価されたマクロ検索空間、すなわちNAS-Bench-MacroのオープンソースNASベンチマークを構築する。
論文 参考訳（メタデータ） (2021-03-22T15:09:29Z) - Neural Architecture Search on ImageNet in Four GPU Hours: A
Theoretically Inspired Perspective [88.39981851247727]
トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。
TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。
1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
論文 参考訳（メタデータ） (2021-02-23T07:50:44Z) - Zero-Cost Proxies for Lightweight NAS [19.906217380811373]
本研究では,従来の還元学習プロキシを評価し,検索中における複数のモデル間のランキング保持率を定量化する。
モデルスコアを計算するために,トレーニングデータの1つのミニバッチのみを使用するゼロコストプロキシのシリーズを提案する。
ゼロコストプロキシは3桁の計算量が少ないが、従来のプロキシとマッチし、さらに優れています。
論文 参考訳（メタデータ） (2021-01-20T13:59:52Z) - GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet [63.96959854429752]
GreedyNASは簡単に追跡でき、ImageNetデータセットの実験結果から、同じ検索空間とFLOPまたはレイテンシレベルにおいて、Top-1の精度が向上することが示された。
より大きなスペースを探索することで、GreedyNASは新たな最先端アーキテクチャも取得できます。
論文 参考訳（メタデータ） (2020-03-25T06:54:10Z) - DSNAS: Direct Neural Architecture Search without Parameter Retraining [112.02966105995641]
この観測に基づいて,タスク固有のエンドツーエンドであるNASの新たな問題定義を提案する。
低バイアスモンテカルロ推定でアーキテクチャとパラメータを同時に最適化する効率的な微分可能なNASフレームワークであるDSNASを提案する。
DSNASは、420GPU時間でImageNetで同等の精度(74.4%)のネットワークを発見し、総時間を34%以上削減した。
論文 参考訳（メタデータ） (2020-02-21T04:41:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。