論文の概要: Understanding and Accelerating Neural Architecture Search with
Training-Free and Theory-Grounded Metrics
- arxiv url: http://arxiv.org/abs/2108.11939v1
- Date: Thu, 26 Aug 2021 17:52:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-27 15:16:36.839642
- Title: Understanding and Accelerating Neural Architecture Search with
Training-Free and Theory-Grounded Metrics
- Title（参考訳）: トレーニングフリーと理論的根拠付きメトリクスを用いたニューラルアーキテクチャ探索の理解と高速化
- Authors: Wuyang Chen, Xinyu Gong, Yunchao Wei, Humphrey Shi, Zhicheng Yan, Yi
Yang, Zhangyang Wang
- Abstract要約: この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。
NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。
我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
- 参考スコア（独自算出の注目度）: 117.4281417428145
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This work targets designing a principled and unified training-free framework
for Neural Architecture Search (NAS), with high performance, low cost, and
in-depth interpretation. NAS has been explosively studied to automate the
discovery of top-performer neural networks, but suffers from heavy resource
consumption and often incurs search bias due to truncated training or
approximations. Recent NAS works start to explore indicators that can predict a
network's performance without training. However, they either leveraged limited
properties of deep networks, or the benefits of their training-free indicators
are not applied to more extensive search methods. By rigorous correlation
analysis, we present a unified framework to understand and accelerate NAS, by
disentangling "TEG" characteristics of searched networks - Trainability,
Expressivity, Generalization - all assessed in a training-free manner. The TEG
indicators could be scaled up and integrated with various NAS search methods,
including both supernet and single-path approaches. Extensive studies validate
the effective and efficient guidance from our TEG-NAS framework, leading to
both improved search accuracy and over 2.3x reduction in search time cost.
Moreover, we visualize search trajectories on three landscapes of "TEG"
characteristics, observing that while a good local minimum is easier to find on
NAS-Bench-201 given its simple topology, balancing "TEG" characteristics is
much harder on the DARTS search space due to its complex landscape geometry.
Our code is available at https://github.com/VITA-Group/TEGNAS.
- Abstract（参考訳）: この研究は、ニューラルネットワーク検索(nas)のための原則的で統一されたトレーニングフリーフレームワークの設計を目標とし、高いパフォーマンス、低コスト、そして深い解釈を提供する。
NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。
最近のNAS作業は、トレーニングなしでネットワークのパフォーマンスを予測できる指標を探し始めます。
しかし、ディープネットワークの限られた特性を利用するか、トレーニング不要な指標の利点はより広範な探索手法には適用されない。
厳密な相関分析により,検索されたネットワークの"teg"特性 - 訓練性,表現性,一般化 - を無訓練で評価することで,nasを理解・加速するための統一的な枠組みを提案する。
TEGインジケータは、スーパーネットとシングルパスの両方のアプローチを含む様々なNAS検索手法にスケールアップおよび統合することができる。
TEG-NASフレームワークの有効かつ効率的なガイダンスは,検索精度の向上と検索時間コストの2.3倍以上の削減をもたらす。
さらに,3つの地形の「TEG」特性の探索軌跡を可視化し,局所最小値がNAS-Bench-201でより容易に発見できる一方で,複雑な地形形状のため,DARTSの探索空間では「TEG」特性のバランスがより困難であることを示した。
私たちのコードはhttps://github.com/VITA-Group/TEGNASで利用可能です。
関連論文リスト
- Robustifying and Boosting Training-Free Neural Architecture Search [49.828875134088904]
本稿では,多種多様なタスクにおいて,頑健で一貫したパフォーマンスの指標を開発するために,トレーニング不要なNAS (RoBoT) アルゴリズムを提案する。
注目すべきは、我々のRoBoTの期待性能が理論的に保証され、既存のトレーニングフリーNASよりも改善されることだ。
論文 参考訳（メタデータ） (2024-03-12T12:24:11Z) - Generalization Properties of NAS under Activation and Skip Connection
Search [66.8386847112332]
ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。
我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。
トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
論文 参考訳（メタデータ） (2022-09-15T12:11:41Z) - PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search [34.06028035262884]
我々は、新しい進化型NAS戦略、Predictor-assisted E-NAS(PRE-NAS)を提案する。
Pre-NASは新しい進化的探索戦略を活用し、世代ごとに高忠実度重みの継承を統合する。
NAS-Bench-201とDARTSの探索実験により、Pre-NASは最先端のNAS法より優れていることが示された。
論文 参考訳（メタデータ） (2022-04-27T06:40:39Z) - An Analysis of Super-Net Heuristics in Weight-Sharing NAS [70.57382341642418]
単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
論文 参考訳（メタデータ） (2021-10-04T02:18:44Z) - Generative Adversarial Neural Architecture Search [21.05611902967155]
理論的に証明可能な収束保証を備えたGA-NAS(Generative Adversarial NAS)を提案する。
GA-NASは、他のNAS手法によって既に最適化されているベースラインを改善するために利用できることを示す。
論文 参考訳（メタデータ） (2021-05-19T18:54:44Z) - Neural Architecture Search on ImageNet in Four GPU Hours: A
Theoretically Inspired Perspective [88.39981851247727]
トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。
TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。
1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
論文 参考訳（メタデータ） (2021-02-23T07:50:44Z) - CATCH: Context-based Meta Reinforcement Learning for Transferrable
Architecture Search [102.67142711824748]
CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。
メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。
また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
論文 参考訳（メタデータ） (2020-07-18T09:35:53Z) - Neural Architecture Search without Training [8.067283219068832]
本研究では,未学習ネットワークにおけるデータポイント間のアクティベーションの重複について検討する。
ネットワークのトレーニングされたパフォーマンスを示すのに有用な指標を、どのように提供できるかを動機付けます。
この測度を単純なアルゴリズムに組み込むことで、単一のGPU上で数秒のトレーニングをすることなく、強力なネットワークを検索できるのです。
論文 参考訳（メタデータ） (2020-06-08T14:53:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。