論文の概要: Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars

• arxiv url: http://arxiv.org/abs/2211.01842v3
• Date: Fri, 8 Dec 2023 14:09:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 19:25:34.099011
• Title: Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars
• Title（参考訳）: 文脈自由文法に基づく階層型ニューラルネットワーク探索空間の構築
• Authors: Simon Schrodi, Danny Stoll, Binxin Ru, Rhea Sukthanker, Thomas Brox, Frank Hutter
• Abstract要約: 文脈自由文法に基づく統一検索空間設計フレームワークを提案する。 それらの特性の強化と利用により,完全なアーキテクチャの探索を効果的に行うことができる。 既存のニューラルアーキテクチャ検索手法よりも検索戦略が優れていることを示す。
• 参考スコア（独自算出の注目度）: 66.05096551112932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The discovery of neural architectures from simple building blocks is a long-standing goal of Neural Architecture Search (NAS). Hierarchical search spaces are a promising step towards this goal but lack a unifying search space design framework and typically only search over some limited aspect of architectures. In this work, we introduce a unifying search space design framework based on context-free grammars that can naturally and compactly generate expressive hierarchical search spaces that are 100s of orders of magnitude larger than common spaces from the literature. By enhancing and using their properties, we effectively enable search over the complete architecture and can foster regularity. Further, we propose an efficient hierarchical kernel design for a Bayesian Optimization search strategy to efficiently search over such huge spaces. We demonstrate the versatility of our search space design framework and show that our search strategy can be superior to existing NAS approaches. Code is available at https://github.com/automl/hierarchical_nas_construction.
• Abstract（参考訳）: 単純なビルディングブロックからニューラルアーキテクチャを発見することは、Neural Architecture Search(NAS)の長年の目標である。 階層型検索空間は、この目標に向けて有望なステップであるが、統一型検索空間設計フレームワークがなく、アーキテクチャの限られた側面のみを検索する。 本研究では,文脈自由文法に基づく統一的な探索空間設計フレームワークを提案する。このフレームワークは,文献から得られる共通空間よりも100桁大きい表現的階層的探索空間を自然かつコンパクトに生成することができる。 それらの特性の強化と利用により、アーキテクチャ全体の検索を効果的に可能とし、規則性を育むことができる。 さらに,このような巨大な空間を効率的に探索するためのベイズ最適化探索戦略のための効率的な階層的カーネル設計を提案する。 我々は,検索空間設計フレームワークの汎用性を実証し,検索戦略が既存のnasアプローチよりも優れていることを示す。 コードはhttps://github.com/automl/hierarchical_nas_constructionで入手できる。

関連論文リスト

• Efficient NAS with FaDE on Hierarchical Spaces [0.6372911857214884]
  階層型NAS空間の有限領域における相対的な性能予測を得るために、微分可能なアーキテクチャ探索を用いるFaDEを提案する。 FaDEは特に深層階層の多セル探索空間に向いている。
  論文  参考訳（メタデータ） (2024-04-24T21:33:17Z)
• Automated Dominative Subspace Mining for Efficient Neural Architecture Search [36.06889021273405]
  DSM-NAS(Dominative Subspace Mining)を用いたニューラルアーキテクチャ探索手法を提案する。 DSM-NASは自動的にマイニングされたサブスペースで有望なアーキテクチャを見つける。 実験の結果,DSM-NASは検索コストを削減できるだけでなく,様々なベンチマーク検索空間における最先端手法よりも優れたアーキテクチャも発見できることがわかった。
  論文  参考訳（メタデータ） (2022-10-31T09:54:28Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• Towards Less Constrained Macro-Neural Architecture Search [2.685668802278155]
  ニューラルアーキテクチャサーチ(NAS)ネットワークは、様々なタスクで最先端のパフォーマンスを達成する。 ほとんどのNAS手法は、探索を制約する人間定義の仮定に大きく依存している。 我々は,LCMNASが最小のGPU計算でゼロから最先端アーキテクチャを生成することを示す実験を行った。
  論文  参考訳（メタデータ） (2022-03-10T17:53:03Z)
• Exploring Complicated Search Spaces with Interleaving-Free Sampling [127.07551427957362]
  本稿では,長距離接続を伴う複雑な検索空間上に探索アルゴリズムを構築する。 我々はtextbfIF-NAS という単純なアルゴリズムを提案し、異なるサブネットワークを構築するために周期的なサンプリング戦略を実行する。 提案した探索空間において、IF-NASはランダムサンプリングと従来の重み付け検索のアルゴリズムを有意差で上回っている。
  論文  参考訳（メタデータ） (2021-12-05T06:42:48Z)
• Unchain the Search Space with Hierarchical Differentiable Architecture Search [42.32368267716705]
  dasベースの手法は主に繰り返し可能な細胞構造を探索することに集中し、それを複数の段階に順次積み重ねてネットワークを形成する。 細胞レベルでもステージレベルでもアーキテクチャ検索を行う階層的微分可能なアーキテクチャ検索(H-DAS)を提案する。 ステージレベルの探索では,各ステージ内の細胞数やセル間の接続など,ステージのアーキテクチャを体系的に研究する。
  論文  参考訳（メタデータ） (2021-01-11T17:01:43Z)
• GOLD-NAS: Gradual, One-Level, Differentiable [100.12492801459105]
  GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。 1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
  論文  参考訳（メタデータ） (2020-07-07T10:37:49Z)
• Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search [94.46818035655943]
  本稿では,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。 提案手法により,CNAS法は探索効率を大幅に向上し,既存のNAS法よりも優れたアーキテクチャを求めることができる。
  論文  参考訳（メタデータ） (2020-07-07T02:29:06Z)
• AutoSTR: Efficient Backbone Search for Scene Text Recognition [80.7290173000068]
  テキストインスタンスの多様性とシーンの複雑さのため、シーンテキスト認識(STR)は非常に難しい。 テキスト認識性能を向上させるために,データ依存のバックボーンを検索するための自動STR(AutoSTR)を提案する。 実験によると、データ依存のバックボーンを検索することで、AutoSTRは標準ベンチマークにおける最先端のアプローチより優れている。
  論文  参考訳（メタデータ） (2020-03-14T06:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。