論文の概要: Rethinking Performance Estimation in Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2005.09917v1
• Date: Wed, 20 May 2020 09:01:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 05:41:01.016132
• Title: Rethinking Performance Estimation in Neural Architecture Search
• Title（参考訳）: ニューラルアーキテクチャ探索における性能推定の再考
• Authors: Xiawu Zheng, Rongrong Ji, Qiang Wang, Qixiang Ye, Zhenguo Li, Yonghong Tian, Qi Tian
• Abstract要約: 本稿では,資源制約型システムにおける性能推定(PE)の体系的再考を行う。 BPEと強化学習,進化アルゴリズム,ランダム探索,異種アーキテクチャ探索などの様々な探索アルゴリズムを組み合わせることで,NASの1,000倍の高速化を実現した。
• 参考スコア（独自算出の注目度）: 191.08960589460173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) remains a challenging problem, which is attributed to the indispensable and time-consuming component of performance estimation (PE). In this paper, we provide a novel yet systematic rethinking of PE in a resource constrained regime, termed budgeted PE (BPE), which precisely and effectively estimates the performance of an architecture sampled from an architecture space. Since searching an optimal BPE is extremely time-consuming as it requires to train a large number of networks for evaluation, we propose a Minimum Importance Pruning (MIP) approach. Given a dataset and a BPE search space, MIP estimates the importance of hyper-parameters using random forest and subsequently prunes the minimum one from the next iteration. In this way, MIP effectively prunes less important hyper-parameters to allocate more computational resource on more important ones, thus achieving an effective exploration. By combining BPE with various search algorithms including reinforcement learning, evolution algorithm, random search, and differentiable architecture search, we achieve 1, 000x of NAS speed up with a negligible performance drop comparing to the SOTA
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は依然として困難な問題であり、性能推定(PE)の必須かつ時間を要する要素である。 本稿では, 資源制約型PE(Bed budgeted PE, BPE)におけるPEの体系的再考を行い, アーキテクチャ空間からサンプリングしたアーキテクチャの性能を正確に, 効果的に推定する。 評価のために多数のネットワークをトレーニングする必要があるため,最適なBPEを探索するのには非常に時間がかかるため,ミニマム・コンパタンス・プルーニング(MIP)アプローチを提案する。 データセットとBPE検索空間が与えられた場合、MIPはランダムフォレストを用いてハイパーパラメータの重要性を推定し、その後、次のイテレーションから最小のパラメータを抽出する。 このようにして、MIPはより重要でないハイパーパラメーターを効果的に作成し、より重要なパラメーターにより多くの計算資源を割り当てる。 BPEと強化学習、進化アルゴリズム、ランダム探索、および微分可能なアーキテクチャ探索を含む様々な探索アルゴリズムを組み合わせることで、SOTAと比較して1,000倍のNAS速度を達成することができる。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
  この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。 我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。 NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
  論文  参考訳（メタデータ） (2023-12-21T02:48:44Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)
• Efficient Model Performance Estimation via Feature Histories [27.008927077173553]
  ニューラルネットワーク設計のタスクにおける重要なステップは、モデルの性能を評価することである。 この研究では、トレーニングの初期段階におけるネットワークの機能の進化履歴を使用して、プロキシ分類器を構築します。 本手法は,複数の探索アルゴリズムと組み合わせ,より幅広いタスクに対するより良い解を見つけることができることを示す。
  論文  参考訳（メタデータ） (2021-03-07T20:41:57Z)
• Multi-objective Neural Architecture Search with Almost No Training [9.93048700248444]
  本稿ではRWE(Random-Weight Evaluation)という,ネットワークアーキテクチャの性能を迅速に評価する手法を提案する。 RWEは、アーキテクチャを評価するための計算コストを数時間から秒に短縮する。 進化的多目的アルゴリズムに統合されると、RWEはCIFAR-10上で2時間以内で1枚のGPUカードを検索し、最先端の性能を持つ効率的なアーキテクチャの集合を得る。
  論文  参考訳（メタデータ） (2020-11-27T07:39:17Z)
• Neural Architecture Search with an Efficient Multiobjective Evolutionary Framework [0.0]
  本稿では,効率的な多目的ニューラルアーキテクチャ探索フレームワークであるEMONASを提案する。 EMONASは、アーキテクチャのマクロ構造とマイクロ構造の両方を考慮した検索空間で構成されている。 MICCAI ACDCの課題から3次元心筋セグメンテーションの課題について検討した。
  論文  参考訳（メタデータ） (2020-11-09T14:41:10Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。