論文の概要: AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search

• arxiv url: http://arxiv.org/abs/2403.19232v1
• Date: Thu, 28 Mar 2024 08:44:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 17:03:08.519673
• Title: AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search
• Title（参考訳）: AZ-NAS:ネットワークアーキテクチャ検索のためのゼロコストプロキシを組み立てる
• Authors: Junghyup Lee, Bumsub Ham,
• Abstract要約: トレーニングフリーネットワークアーキテクチャサーチ (NAS) は、ゼロコストプロキシによる高性能ネットワークの探索を目的としている。 AZ-NASは,ネットワークの予測ランキングと地上事実との相関性を高めるために,様々なゼロコストプロキシのアンサンブルを利用する新しいアプローチである。 その結果, AZ-NAS の有効性と有効性を確定的に示し, 標準ベンチマークにおける最先端の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 30.64117903216323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training-free network architecture search (NAS) aims to discover high-performing networks with zero-cost proxies, capturing network characteristics related to the final performance. However, network rankings estimated by previous training-free NAS methods have shown weak correlations with the performance. To address this issue, we propose AZ-NAS, a novel approach that leverages the ensemble of various zero-cost proxies to enhance the correlation between a predicted ranking of networks and the ground truth substantially in terms of the performance. To achieve this, we introduce four novel zero-cost proxies that are complementary to each other, analyzing distinct traits of architectures in the views of expressivity, progressivity, trainability, and complexity. The proxy scores can be obtained simultaneously within a single forward and backward pass, making an overall NAS process highly efficient. In order to integrate the rankings predicted by our proxies effectively, we introduce a non-linear ranking aggregation method that highlights the networks highly-ranked consistently across all the proxies. Experimental results conclusively demonstrate the efficacy and efficiency of AZ-NAS, outperforming state-of-the-art methods on standard benchmarks, all while maintaining a reasonable runtime cost.
• Abstract（参考訳）: トレーニングフリーネットワークアーキテクチャサーチ(NAS)は、ゼロコストプロキシによる高性能ネットワークの探索を目標とし、最終性能に関連するネットワーク特性をキャプチャする。 しかし、従来のトレーニング不要NAS法で推定されたネットワークランキングは、性能と弱い相関関係を示している。 この問題に対処するために,ネットワークの予測ランキングと地上の真実との相関性を高めるために,さまざまなゼロコストプロキシのアンサンブルを利用する新しいアプローチであるAZ-NASを提案する。 そこで本研究では, 表現性, 進行性, 訓練性, 複雑さの観点から, アーキテクチャの異なる特徴を解析し, 相補的なゼロコストプロキシを4つ導入する。 プロキシスコアは、単一の前方及び後方パス内で同時に取得可能であり、全体的なNASプロセスが極めて効率的である。 本稿では,プロキシによって予測されるランキングを効果的に統合するために,すべてのプロキシに一貫したランク付けされたネットワークを強調表示する非線形ランキングアグリゲーション手法を提案する。 AZ-NASの有効性と効率を実証し、標準ベンチマークにおける最先端の手法よりも優れた性能を示しながら、合理的な実行コストを維持した。

関連論文リスト

• Zero-Shot NAS via the Suppression of Local Entropy Decrease [21.100745856699277]
  アーキテクチャ性能評価は、ニューラルアーキテクチャサーチ(NAS)の最も時間を要する部分である ゼロショットNASは、訓練の代わりにゼロコストプロキシを利用することで評価を加速する。 本研究におけるネットワークの性能評価には,アーキテクチャトポロジが用いられている。
  論文  参考訳（メタデータ） (2024-11-09T17:36:53Z)
• Surprisingly Strong Performance Prediction with Neural Graph Features [35.54664728425731]
  アーキテクチャグラフの特性を計算するためのニューラルグラフ特徴量(GRAF)を提案する。 GRAFは高速かつ解釈可能なパフォーマンス予測を提供すると同時に、ゼロコストプロキシよりも優れています。 他のゼロコストプロキシと組み合わせて、GRAFはコストのごく一部で既存のパフォーマンス予測器を上回っている。
  論文  参考訳（メタデータ） (2024-04-25T12:07:41Z)
• TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search [1.30891455653235]
  TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。 TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。 TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
  論文  参考訳（メタデータ） (2024-03-30T07:25:30Z)
• Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations [59.683234126055694]
  最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。 クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。 提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
  論文  参考訳（メタデータ） (2023-06-08T08:34:26Z)
• $\beta$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable Architecture Search [96.99525100285084]
  DARTSに基づくNAS探索プロセス($beta$-DARTS)を正規化するための正規化手法であるBeta-Decayを提案する。 どのように動作するのか、なぜ動作するのかに関する詳細な理論的分析が提供される。
  論文  参考訳（メタデータ） (2023-01-16T12:30:32Z)
• ProxyBO: Accelerating Neural Architecture Search via Bayesian Optimization with Zero-cost Proxies [30.059154132130207]
  本稿では、ゼロコストプロキシを用いてニューラルネットワーク探索を高速化する効率的なベイズ最適化フレームワークであるProxyBOを提案する。 ProxyBOは3つの公開ベンチマークから5つのタスクの競争ベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-10-20T08:18:16Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search [70.57382341642418]
  重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。 近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。 本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
  論文  参考訳（メタデータ） (2021-04-12T09:32:33Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• EcoNAS: Finding Proxies for Economical Neural Architecture Search [130.59673917196994]
  本稿では、既存のほとんどのプロキシが、ネットワーク候補間のランク一貫性を維持する際に異なる振る舞いを示すことを観察する。 これらの観測から着想を得て、信頼性のあるプロキシを提案し、階層的なプロキシ戦略をさらに定式化する。 この戦略は、より正確な候補ネットワークにより多くの計算を費やす一方で、高速なプロキシで初期段階の未予測ネットワークを破棄する。
  論文  参考訳（メタデータ） (2020-01-05T13:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。