論文の概要: B2EA: An Evolutionary Algorithm Assisted by Two Bayesian Optimization Modules for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2202.03005v1
• Date: Mon, 7 Feb 2022 08:50:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 18:17:06.857084
• Title: B2EA: An Evolutionary Algorithm Assisted by Two Bayesian Optimization Modules for Neural Architecture Search
• Title（参考訳）: b2ea:ニューラルアーキテクチャ探索のための2つのベイズ最適化モジュールによる進化的アルゴリズム
• Authors: Hyunghun Cho, Jungwook Shin, Wonjong Rhee
• Abstract要約: Btextsuperscript2EAは2つのBO代理モデルと2つの変異ステップを持つ補助的EAである。 Btextsuperscript2EAは、目標パフォーマンスの3つの困難レベルに対して、14ベンチマークよりも堅牢で効率的である。
• 参考スコア（独自算出の注目度）: 3.126118485851773
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The early pioneering Neural Architecture Search (NAS) works were multi-trial methods applicable to any general search space. The subsequent works took advantage of the early findings and developed weight-sharing methods that assume a structured search space typically with pre-fixed hyperparameters. Despite the amazing computational efficiency of the weight-sharing NAS algorithms, it is becoming apparent that multi-trial NAS algorithms are also needed for identifying very high-performance architectures, especially when exploring a general search space. In this work, we carefully review the latest multi-trial NAS algorithms and identify the key strategies including Evolutionary Algorithm (EA), Bayesian Optimization (BO), diversification, input and output transformations, and lower fidelity estimation. To accommodate the key strategies into a single framework, we develop B\textsuperscript{2}EA that is a surrogate assisted EA with two BO surrogate models and a mutation step in between. To show that B\textsuperscript{2}EA is robust and efficient, we evaluate three performance metrics over 14 benchmarks with general and cell-based search spaces. Comparisons with state-of-the-art multi-trial algorithms reveal that B\textsuperscript{2}EA is robust and efficient over the 14 benchmarks for three difficulty levels of target performance. The B\textsuperscript{2}EA code is publicly available at \url{https://github.com/snu-adsl/BBEA}.
• Abstract（参考訳）: 初期のニューラル・アーキテクチャ・サーチ (NAS) は一般の検索空間に適用可能な多段階的手法であった。 その後の研究は初期の発見を生かし、通常固定されたハイパーパラメータを持つ構造付き探索空間を仮定する重量共有法を開発した。 重量共有NASアルゴリズムの驚くべき計算効率にもかかわらず、特に一般的な探索空間を探索する際には、非常に高性能なアーキテクチャを識別するためには、マルチリアルNASアルゴリズムも必要であることが明らかになっている。 本研究では,最新のマルチリアルNASアルゴリズムを慎重に検討し,進化的アルゴリズム(EA),ベイズ最適化(BO),多様化,入出力変換,低忠実度推定などの重要な戦略を明らかにする。 主要な戦略を一つのフレームワークに適合させるために,2つのBOサロゲートモデルと2つのミュータントステップを持つ補助EAであるB\textsuperscript{2}EAを開発する。 B\textsuperscript{2}EA が頑健で効率的であることを示すため,一般およびセルベースの検索空間を持つ14のベンチマークにおいて,3つの性能指標を評価した。 B\textsuperscript{2}EAは、目標性能の3つの難易度に対して、14のベンチマークに対して堅牢で効率的である。 B\textsuperscript{2}EA コードは \url{https://github.com/snu-adsl/BBEA} で公開されている。

関連論文リスト

• Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
  この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。 我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。 NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
  論文  参考訳（メタデータ） (2023-12-21T02:48:44Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• Neural Architecture Search as Multiobjective Optimization Benchmarks: Problem Formulation and Performance Assessment [30.264524448340406]
  ニューラルアーキテクチャ探索(NAS)タスクを一般的な多目的最適化問題に定式化する。 最適化の観点から複素特性を解析する。 EMOアルゴリズムが効率的に動作するためのベンチマークテスト問題を生成するために,$texttEvoXBench$と呼ばれるエンドツーエンドパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-08T02:07:49Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size [31.903475598150152]
  アーキテクチャトポロジとサイズの両方を検索するための統一ベンチマークであるNATS-Benchを提案する。 NATS-Benchには、アーキテクチャトポロジのための15,625のニューラルネットワーク候補と、3つのデータセット上のアーキテクチャサイズのための32,768の検索スペースが含まれている。
  論文  参考訳（メタデータ） (2020-08-28T21:34:56Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Local Search is a Remarkably Strong Baseline for Neural Architecture Search [0.0]
  ニューラルネットワーク探索(NAS)のための簡単な局所探索(LS)アルゴリズムを初めて検討する。 我々は、2つの確立された画像分類タスクに対して200Kのネットワーク評価を含む2つのベンチマークデータセット、MacroNAS-C10とMacroNAS-C100をリリースする。
  論文  参考訳（メタデータ） (2020-04-20T00:08:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。