論文の概要: Unchain the Search Space with Hierarchical Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/2101.04028v2
• Date: Tue, 12 Jan 2021 04:00:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-04 14:39:33.818299
• Title: Unchain the Search Space with Hierarchical Differentiable Architecture Search
• Title（参考訳）: 階層的微分可能なアーキテクチャ探索による検索空間のアンチェーン
• Authors: Guanting Liu, Yujie Zhong, Sheng Guo, Matthew R. Scott, Weilin Huang
• Abstract要約: dasベースの手法は主に繰り返し可能な細胞構造を探索することに集中し、それを複数の段階に順次積み重ねてネットワークを形成する。 細胞レベルでもステージレベルでもアーキテクチャ検索を行う階層的微分可能なアーキテクチャ検索(H-DAS)を提案する。 ステージレベルの探索では,各ステージ内の細胞数やセル間の接続など,ステージのアーキテクチャを体系的に研究する。
• 参考スコア（独自算出の注目度）: 42.32368267716705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable architecture search (DAS) has made great progress in searching for high-performance architectures with reduced computational cost. However, DAS-based methods mainly focus on searching for a repeatable cell structure, which is then stacked sequentially in multiple stages to form the networks. This configuration significantly reduces the search space, and ignores the importance of connections between the cells. To overcome this limitation, in this paper, we propose a Hierarchical Differentiable Architecture Search (H-DAS) that performs architecture search both at the cell level and at the stage level. Specifically, the cell-level search space is relaxed so that the networks can learn stage-specific cell structures. For the stage-level search, we systematically study the architectures of stages, including the number of cells in each stage and the connections between the cells. Based on insightful observations, we design several search rules and losses, and mange to search for better stage-level architectures. Such hierarchical search space greatly improves the performance of the networks without introducing expensive search cost. Extensive experiments on CIFAR10 and ImageNet demonstrate the effectiveness of the proposed H-DAS. Moreover, the searched stage-level architectures can be combined with the cell structures searched by existing DAS methods to further boost the performance. Code is available at: https://github.com/MalongTech/research-HDAS
• Abstract（参考訳）: 微分可能なアーキテクチャサーチ (DAS) は計算コストを削減した高性能アーキテクチャの探索に大きく進歩している。 しかし、DASベースの手法は主に繰り返し可能なセル構造を探索することに集中しており、複数のステージに順次積み重ねてネットワークを形成する。 この構成は検索空間を大幅に減らし、細胞間の接続の重要性を無視する。 本稿では,この制限を克服するために,セルレベルとステージレベルの両方でアーキテクチャ検索を行う階層的微分可能アーキテクチャ探索(h-das)を提案する。 具体的には、ネットワークがステージ固有の細胞構造を学習できるように、細胞レベルの検索空間を緩和する。 ステージレベルの探索では,各ステージ内の細胞数やセル間の接続など,ステージのアーキテクチャを体系的に研究する。 洞察に富んだ観察に基づいて,いくつかの探索ルールと損失をデザインし,より優れたステージレベルのアーキテクチャを探索する。 このような階層的検索空間は、高価な検索コストを伴わずにネットワークの性能を大幅に向上させる。 CIFAR10とImageNetの大規模な実験により,提案したH-DASの有効性が示された。 さらに、探索されたステージレベルのアーキテクチャは、既存のDAS法で探索されたセル構造と組み合わせることで、パフォーマンスをさらに向上させることができる。 コードは、https://github.com/MalongTech/research-HDASで入手できる。

関連論文リスト

• Efficient NAS with FaDE on Hierarchical Spaces [0.6372911857214884]
  階層型NAS空間の有限領域における相対的な性能予測を得るために、微分可能なアーキテクチャ探索を用いるFaDEを提案する。 FaDEは特に深層階層の多セル探索空間に向いている。
  論文  参考訳（メタデータ） (2024-04-24T21:33:17Z)
• Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars [66.05096551112932]
  文脈自由文法に基づく統一検索空間設計フレームワークを提案する。 それらの特性の強化と利用により,完全なアーキテクチャの探索を効果的に行うことができる。 既存のニューラルアーキテクチャ検索手法よりも検索戦略が優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-03T14:23:00Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• On Redundancy and Diversity in Cell-based Neural Architecture Search [44.337381243798085]
  一般的なセルベースの検索空間からアーキテクチャを実証分析する。 アーキテクチャのパフォーマンスは、細胞の大部分における変更に対して最小限に敏感であることに気付きました。 細胞にこれらのパターンを明示的に含ませることによって、ランダムにサンプリングされたアーキテクチャは、芸術の状態をマッチさせたり、上回りさせたりすることができる。
  論文  参考訳（メタデータ） (2022-03-16T18:59:29Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search [94.46818035655943]
  本稿では,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。 提案手法により,CNAS法は探索効率を大幅に向上し,既存のNAS法よりも優れたアーキテクチャを求めることができる。
  論文  参考訳（メタデータ） (2020-07-07T02:29:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。