論文の概要: AutoHAS: Efficient Hyperparameter and Architecture Search

• arxiv url: http://arxiv.org/abs/2006.03656v3
• Date: Wed, 7 Apr 2021 06:55:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 04:12:24.012644
• Title: AutoHAS: Efficient Hyperparameter and Architecture Search
• Title（参考訳）: AutoHAS: 効率的なハイパーパラメータとアーキテクチャ検索
• Authors: Xuanyi Dong, Mingxing Tan, Adams Wei Yu, Daiyi Peng, Bogdan Gabrys, Quoc V. Le
• Abstract要約: AutoHASは、共有ネットワークウェイトと強化学習コントローラを交互に更新することを学ぶ。 選択したHPから更新された重量を格納するために一時的な重量を導入する。 実験では、AutoHASは様々な検索空間、ベースライン、データセットに対して効率的かつ一般化可能であることを示す。
• 参考スコア（独自算出の注目度）: 104.29883101871083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient hyperparameter or architecture search methods have shown remarkable results, but each of them is only applicable to searching for either hyperparameters (HPs) or architectures. In this work, we propose a unified pipeline, AutoHAS, to efficiently search for both architectures and hyperparameters. AutoHAS learns to alternately update the shared network weights and a reinforcement learning (RL) controller, which learns the probability distribution for the architecture candidates and HP candidates. A temporary weight is introduced to store the updated weight from the selected HPs (by the controller), and a validation accuracy based on this temporary weight serves as a reward to update the controller. In experiments, we show AutoHAS is efficient and generalizable to different search spaces, baselines and datasets. In particular, AutoHAS can improve the accuracy over popular network architectures, such as ResNet and EfficientNet, on CIFAR-10/100, ImageNet, and four more other datasets.
• Abstract（参考訳）: 効率的なハイパーパラメータまたはアーキテクチャ探索手法は顕著な結果を示しているが、それぞれがハイパーパラメータ(hps)またはアーキテクチャの検索にのみ適用できる。 本研究では,アーキテクチャとハイパーパラメータの両方を効率的に探索する統合パイプラインであるAutoHASを提案する。 AutoHASは、共有ネットワーク重み付けと強化学習(RL)コントローラを交互に更新することを学び、アーキテクチャ候補とHP候補の確率分布を学習する。 選択したHPから(コントローラによって)更新された重量を格納するために一時的な重みを導入し、この一時的な重みに基づく検証精度は、コントローラを更新する報酬となる。 実験では,様々な検索空間,ベースライン,データセットに対してautohasが効率的かつ汎用的であることを示す。 特にAutoHASは、ResNetやEfficientNet、CIFAR-10/100、ImageNet、その他の4つのデータセットなど、一般的なネットワークアーキテクチャよりも正確性を向上させることができる。

関連論文リスト

• ASP: Automatic Selection of Proxy dataset for efficient AutoML [16.813109584129514]
  本稿では、各エポックにおけるトレーニングデータの情報的プロキシサブセットを動的に見つけるために、ASP(Automatic Selection of Proxy dataset framework)を提案する。 ASPは、すべての選択比率で、他のデータ選択方法よりも優れた結果を得ることができる。
  論文  参考訳（メタデータ） (2023-10-17T09:36:22Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)
• Hypernetwork-Based Augmentation [1.6752182911522517]
  我々はHypernetwork-based Augmentation (HBA)と呼ばれる効率的な勾配に基づく探索アルゴリズムを提案する。 私たちのHBAはハイパーネットワークを使って人口ベーストレーニングアルゴリズムを近似します。 以上の結果から,HBAは検索速度と精度の両面で最先端の手法と競合することが示された。
  論文  参考訳（メタデータ） (2020-06-11T10:36:39Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search [6.458169480971417]
  ニューラルアーキテクチャ探索(NAS)のためのアーキテクチャ駆動重み予測(ADWP)手法を提案する。 提案手法では,まずアーキテクチャ集約型検索空間を設計し,次にアーキテクチャパラメータをエンコードすることでハイパーネットワークワークを訓練する。 結果は、CIFAR-10上で1つの探索手順を4.0GPU時間で完了することを示す。
  論文  参考訳（メタデータ） (2020-03-03T05:06:20Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。