論文の概要: EcoNAS: Finding Proxies for Economical Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2001.01233v2
• Date: Thu, 27 Feb 2020 02:42:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 07:35:14.378538
• Title: EcoNAS: Finding Proxies for Economical Neural Architecture Search
• Title（参考訳）: EcoNAS: 経済的なニューラルネットワーク探索のためのプロキシを見つける
• Authors: Dongzhan Zhou, Xinchi Zhou, Wenwei Zhang, Chen Change Loy, Shuai Yi, Xuesen Zhang, Wanli Ouyang
• Abstract要約: 本稿では、既存のほとんどのプロキシが、ネットワーク候補間のランク一貫性を維持する際に異なる振る舞いを示すことを観察する。 これらの観測から着想を得て、信頼性のあるプロキシを提案し、階層的なプロキシ戦略をさらに定式化する。 この戦略は、より正確な候補ネットワークにより多くの計算を費やす一方で、高速なプロキシで初期段階の未予測ネットワークを破棄する。
• 参考スコア（独自算出の注目度）: 130.59673917196994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) achieves significant progress in many computer vision tasks. While many methods have been proposed to improve the efficiency of NAS, the search progress is still laborious because training and evaluating plausible architectures over large search space is time-consuming. Assessing network candidates under a proxy (i.e., computationally reduced setting) thus becomes inevitable. In this paper, we observe that most existing proxies exhibit different behaviors in maintaining the rank consistency among network candidates. In particular, some proxies can be more reliable -- the rank of candidates does not differ much comparing their reduced setting performance and final performance. In this paper, we systematically investigate some widely adopted reduction factors and report our observations. Inspired by these observations, we present a reliable proxy and further formulate a hierarchical proxy strategy. The strategy spends more computations on candidate networks that are potentially more accurate, while discards unpromising ones in early stage with a fast proxy. This leads to an economical evolutionary-based NAS (EcoNAS), which achieves an impressive 400x search time reduction in comparison to the evolutionary-based state of the art (8 vs. 3150 GPU days). Some new proxies led by our observations can also be applied to accelerate other NAS methods while still able to discover good candidate networks with performance matching those found by previous proxy strategies.
• Abstract（参考訳）: neural architecture search (nas)は多くのコンピュータビジョンタスクで大きな進歩を遂げている。 NASの効率を改善するために多くの手法が提案されているが、大規模な検索空間上での有望なアーキテクチャの訓練と評価が時間を要するため、探索の進行はいまだに困難である。 プロキシ下でのネットワーク候補の評価(すなわち、計算量を減らす設定)は避けられない。 本稿では,既存のプロキシのほとんどが,ネットワーク候補間のランク一貫性を維持する上で異なる行動を示すことを観察する。 特に、いくつかのプロキシはより信頼性が高い - 候補のランクは、設定性能の低下と最終的なパフォーマンスに大きく違いはない。 本稿では,広く採用されている還元因子を系統的に検討し,観察結果を報告する。 これらの観察から着想を得て,信頼性の高いプロキシを示し,さらに階層的なプロキシ戦略を定式化する。 この戦略は、より正確な候補ネットワークにより多くの計算を費やす一方で、高速なプロキシで初期段階の未予測ネットワークを破棄する。 これにより、経済進化ベースのNAS(EcoNAS)が実現し、進化ベースの技術(8対3150GPU日)と比較して400倍の検索時間削減を実現している。 我々の観測によって導かれるいくつかの新しいプロキシは、他のNAS手法を加速するためにも適用できるが、以前のプロキシ戦略で見いだされた性能にマッチする優れた候補ネットワークを発見できる。

関連論文リスト

• Zero-Shot NAS via the Suppression of Local Entropy Decrease [21.100745856699277]
  アーキテクチャ性能評価は、ニューラルアーキテクチャサーチ(NAS)の最も時間を要する部分である ゼロショットNASは、訓練の代わりにゼロコストプロキシを利用することで評価を加速する。 本研究におけるネットワークの性能評価には,アーキテクチャトポロジが用いられている。
  論文  参考訳（メタデータ） (2024-11-09T17:36:53Z)
• TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search [1.30891455653235]
  TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。 TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。 TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
  論文  参考訳（メタデータ） (2024-03-30T07:25:30Z)
• AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search [30.64117903216323]
  トレーニングフリーネットワークアーキテクチャサーチ (NAS) は、ゼロコストプロキシによる高性能ネットワークの探索を目的としている。 AZ-NASは,ネットワークの予測ランキングと地上事実との相関性を高めるために,様々なゼロコストプロキシのアンサンブルを利用する新しいアプローチである。 その結果, AZ-NAS の有効性と有効性を確定的に示し, 標準ベンチマークにおける最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-28T08:44:36Z)
• Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities [58.67514819895494]
  ゼロショットNASアプローチの背景にある主要な考え方は、ネットワークパラメータを訓練することなく、与えられたネットワークの精度を予測できるプロキシを設計することである。 本稿では,SOTA (State-of-the-art) ゼロショットNASアプローチを総合的にレビューし,比較することを目的とする。
  論文  参考訳（メタデータ） (2023-07-05T03:07:00Z)
• $\beta$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable Architecture Search [96.99525100285084]
  DARTSに基づくNAS探索プロセス($beta$-DARTS)を正規化するための正規化手法であるBeta-Decayを提案する。 どのように動作するのか、なぜ動作するのかに関する詳細な理論的分析が提供される。
  論文  参考訳（メタデータ） (2023-01-16T12:30:32Z)
• Extensible Proxy for Efficient NAS [38.124755703499886]
  我々は、ニューラルアーキテクチャサーチ(NAS)と呼ばれるディープニューラルネットワーク(DNN)を設計するための新しいアプローチを提案する。 NASプロキシはNASの要求される計算問題に対処するために提案され、各候補アーキテクチャネットワークは1回のバックプロパゲーションしか必要としない。 Eproxy+DPSとEproxy+DPSの両方の有効性を確認した。
  論文  参考訳（メタデータ） (2022-10-17T22:18:22Z)
• RankNAS: Efficient Neural Architecture Search by Pairwise Ranking [30.890612901949307]
  本稿では,ペアランキングを用いたパフォーマンスランキング手法(RankNAS)を提案する。 トレーニングの例をはるかに少なくして、効率的なアーキテクチャ検索を可能にする。 最先端のNASシステムよりも桁違いに高速でありながら、高性能なアーキテクチャを設計することができる。
  論文  参考訳（メタデータ） (2021-09-15T15:43:08Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
  CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。 メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。 また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
  論文  参考訳（メタデータ） (2020-07-18T09:35:53Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。