論文の概要: ProxyBO: Accelerating Neural Architecture Search via Bayesian Optimization with Zero-cost Proxies

• arxiv url: http://arxiv.org/abs/2110.10423v1
• Date: Wed, 20 Oct 2021 08:18:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 17:36:36.251002
• Title: ProxyBO: Accelerating Neural Architecture Search via Bayesian Optimization with Zero-cost Proxies
• Title（参考訳）: ProxyBO: ゼロコストプロキシによるベイズ最適化によるニューラルネットワーク検索の高速化
• Authors: Yu Shen, Yang Li, Jian Zheng, Wentao Zhang, Peng Yao, Jixiang Li, Sen Yang, Ji Liu, Cui Bin
• Abstract要約: 本稿では、ゼロコストプロキシを用いてニューラルネットワーク探索を高速化する効率的なベイズ最適化フレームワークであるProxyBOを提案する。 ProxyBOは3つの公開ベンチマークから5つのタスクの競争ベースラインを一貫して上回っていることを示す。
• 参考スコア（独自算出の注目度）: 30.059154132130207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing neural architectures requires immense manual efforts. This has promoted the development of neural architecture search (NAS) to automate this design. While previous NAS methods achieve promising results but run slowly and zero-cost proxies run extremely fast but are less promising, recent work considers utilizing zero-cost proxies via a simple warm-up. The existing method has two limitations, which are unforeseeable reliability and one-shot usage. To address the limitations, we present ProxyBO, an efficient Bayesian optimization framework that utilizes the zero-cost proxies to accelerate neural architecture search. We propose the generalization ability measurement to estimate the fitness of proxies on the task during each iteration and then combine BO with zero-cost proxies via dynamic influence combination. Extensive empirical studies show that ProxyBO consistently outperforms competitive baselines on five tasks from three public benchmarks. Concretely, ProxyBO achieves up to 5.41x and 3.83x speedups over the state-of-the-art approach REA and BRP-NAS, respectively.
• Abstract（参考訳）: ニューラルネットワークの設計には膨大な手作業が必要です。 これにより、この設計を自動化するためにneural architecture search(nas)の開発が進められた。 従来のNAS法は期待できる結果が得られるが, 速度は遅く, コストゼロのプロキシは非常に高速だが, あまり期待できない。 既存の手法には2つの制限があるが、これは予期せぬ信頼性とワンショットの使用法である。 この制限に対処するために,ゼロコストプロキシを用いてニューラルネットワーク探索を高速化する効率の良いベイズ最適化フレームワークであるProxyBOを提案する。 本稿では,各イテレーション中のタスク上のプロキシの適合度を推定する一般化能力測定法を提案し,動的影響結合によりBOとゼロコストプロキシを結合する。 大規模な実証研究により、ProxyBOは3つの公開ベンチマークから5つのタスクの競争ベースラインを一貫して上回っていることが示されている。 具体的には、ProxyBOは最先端のREAとBRP-NASに対して最大5.41倍と3.83倍のスピードアップを達成する。

関連論文リスト

• Zero-Shot NAS via the Suppression of Local Entropy Decrease [21.100745856699277]
  アーキテクチャ性能評価は、ニューラルアーキテクチャサーチ(NAS)の最も時間を要する部分である ゼロショットNASは、訓練の代わりにゼロコストプロキシを利用することで評価を加速する。 本研究におけるネットワークの性能評価には,アーキテクチャトポロジが用いられている。
  論文  参考訳（メタデータ） (2024-11-09T17:36:53Z)
• TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search [1.30891455653235]
  TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。 TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。 TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
  論文  参考訳（メタデータ） (2024-03-30T07:25:30Z)
• AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search [30.64117903216323]
  トレーニングフリーネットワークアーキテクチャサーチ (NAS) は、ゼロコストプロキシによる高性能ネットワークの探索を目的としている。 AZ-NASは,ネットワークの予測ランキングと地上事実との相関性を高めるために,様々なゼロコストプロキシのアンサンブルを利用する新しいアプローチである。 その結果, AZ-NAS の有効性と有効性を確定的に示し, 標準ベンチマークにおける最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-28T08:44:36Z)
• Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities [58.67514819895494]
  ゼロショットNASアプローチの背景にある主要な考え方は、ネットワークパラメータを訓練することなく、与えられたネットワークの精度を予測できるプロキシを設計することである。 本稿では,SOTA (State-of-the-art) ゼロショットNASアプローチを総合的にレビューし,比較することを目的とする。
  論文  参考訳（メタデータ） (2023-07-05T03:07:00Z)
• $\beta$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable Architecture Search [96.99525100285084]
  DARTSに基づくNAS探索プロセス($beta$-DARTS)を正規化するための正規化手法であるBeta-Decayを提案する。 どのように動作するのか、なぜ動作するのかに関する詳細な理論的分析が提供される。
  論文  参考訳（メタデータ） (2023-01-16T12:30:32Z)
• Extensible Proxy for Efficient NAS [38.124755703499886]
  我々は、ニューラルアーキテクチャサーチ(NAS)と呼ばれるディープニューラルネットワーク(DNN)を設計するための新しいアプローチを提案する。 NASプロキシはNASの要求される計算問題に対処するために提案され、各候補アーキテクチャネットワークは1回のバックプロパゲーションしか必要としない。 Eproxy+DPSとEproxy+DPSの両方の有効性を確認した。
  論文  参考訳（メタデータ） (2022-10-17T22:18:22Z)
• FNAS: Uncertainty-Aware Fast Neural Architecture Search [54.49650267859032]
  強化学習(Reinforcement Learning, RL)に基づくニューラルアーキテクチャサーチ(NAS)は一般的に、収束性の向上を保証するが、巨大な計算資源の要求に悩まされる。 NASにおけるロールアウトプロセスとRLプロセスの収束を加速する汎用パイプラインを提案する。 Mobile Neural Architecture Search (MNAS)サーチスペースの実験では、提案するFast Neural Architecture Search (FNAS)が標準のRLベースのNASプロセスを10倍高速化することを示した。
  論文  参考訳（メタデータ） (2021-05-25T06:32:52Z)
• Speedy Performance Estimation for Neural Architecture Search [47.683124540824515]
  そこで本研究では,トレーニング速度の簡易な測定値に基づいて最終試験性能を推定する。 我々の推定器は、一般化と学習速度の関連によって理論的に動機付けられている。
  論文  参考訳（メタデータ） (2020-06-08T11:48:09Z)
• BNAS:An Efficient Neural Architecture Search Approach Using Broad Scalable Architecture [62.587982139871976]
  我々はBCNN(Broad Convolutional Neural Network)と呼ばれる広義のスケーラブルなアーキテクチャを精巧に設計するBNAS(Broad Neural Architecture Search)を提案する。 BNASは0.19日であり、ENASよりも2.37倍安い。
  論文  参考訳（メタデータ） (2020-01-18T15:07:55Z)
• EcoNAS: Finding Proxies for Economical Neural Architecture Search [130.59673917196994]
  本稿では、既存のほとんどのプロキシが、ネットワーク候補間のランク一貫性を維持する際に異なる振る舞いを示すことを観察する。 これらの観測から着想を得て、信頼性のあるプロキシを提案し、階層的なプロキシ戦略をさらに定式化する。 この戦略は、より正確な候補ネットワークにより多くの計算を費やす一方で、高速なプロキシで初期段階の未予測ネットワークを破棄する。
  論文  参考訳（メタデータ） (2020-01-05T13:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。