論文の概要: Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search

• arxiv url: http://arxiv.org/abs/2007.07197v2
• Date: Wed, 5 Aug 2020 08:56:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 20:07:57.419317
• Title: Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search
• Title（参考訳）: 宇宙爆発のカースを破る:カリキュラム探索による効率的なNASを目指して
• Authors: Yong Guo, Yaofo Chen, Yin Zheng, Peilin Zhao, Jian Chen, Junzhou Huang, Mingkui Tan
• Abstract要約: 本稿では,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。 提案手法により,CNAS法は探索効率を大幅に向上し,既存のNAS法よりも優れたアーキテクチャを求めることができる。
• 参考スコア（独自算出の注目度）: 94.46818035655943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) has become an important approach to automatically find effective architectures. To cover all possible good architectures, we need to search in an extremely large search space with billions of candidate architectures. More critically, given a large search space, we may face a very challenging issue of space explosion. However, due to the limitation of computational resources, we can only sample a very small proportion of the architectures, which provides insufficient information for the training. As a result, existing methods may often produce suboptimal architectures. To alleviate this issue, we propose a curriculum search method that starts from a small search space and gradually incorporates the learned knowledge to guide the search in a large space. With the proposed search strategy, our Curriculum Neural Architecture Search (CNAS) method significantly improves the search efficiency and finds better architectures than existing NAS methods. Extensive experiments on CIFAR-10 and ImageNet demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: ニューラルアーキテクチャ検索(nas)は、効果的なアーキテクチャを自動的に見つけるための重要なアプローチとなっている。 すべての優れたアーキテクチャをカバーするためには、数十億の候補アーキテクチャを持つ非常に大きな検索スペースを探索する必要がある。 もっと重要なことに、大きな探索空間を考えると、宇宙爆発の非常に困難な問題に直面するかもしれない。 しかし、計算資源の制限により、トレーニングに不十分な情報を提供するアーキテクチャのごく一部しかサンプル化できない。 その結果、既存の手法は、しばしば準最適アーキテクチャを生成する。 この問題を軽減するために,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。 提案する検索戦略により,本手法は検索効率を大幅に向上させ,既存のnas法よりも優れたアーキテクチャを見出すことができる。 CIFAR-10とImageNetの大規模な実験により,提案手法の有効性が示された。

関連論文リスト

• LISSNAS: Locality-based Iterative Search Space Shrinkage for Neural Architecture Search [30.079267927860347]
  大規模な空間をSOTA検索性能を持つ多種多様な小さな探索空間に縮小する自動アルゴリズムを提案する。 提案手法は,モバイル制約下でのイメージネットのSOTA Top-1精度77.6%,最良クラスであるKendal-Tau,アーキテクチャの多様性,検索空間サイズを実現している。
  論文  参考訳（メタデータ） (2023-07-06T16:28:51Z)
• Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars [66.05096551112932]
  文脈自由文法に基づく統一検索空間設計フレームワークを提案する。 それらの特性の強化と利用により,完全なアーキテクチャの探索を効果的に行うことができる。 既存のニューラルアーキテクチャ検索手法よりも検索戦略が優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-03T14:23:00Z)
• Automated Dominative Subspace Mining for Efficient Neural Architecture Search [36.06889021273405]
  DSM-NAS(Dominative Subspace Mining)を用いたニューラルアーキテクチャ探索手法を提案する。 DSM-NASは自動的にマイニングされたサブスペースで有望なアーキテクチャを見つける。 実験の結果,DSM-NASは検索コストを削減できるだけでなく,様々なベンチマーク検索空間における最先端手法よりも優れたアーキテクチャも発見できることがわかった。
  論文  参考訳（メタデータ） (2022-10-31T09:54:28Z)
• Towards Less Constrained Macro-Neural Architecture Search [2.685668802278155]
  ニューラルアーキテクチャサーチ(NAS)ネットワークは、様々なタスクで最先端のパフォーマンスを達成する。 ほとんどのNAS手法は、探索を制約する人間定義の仮定に大きく依存している。 我々は,LCMNASが最小のGPU計算でゼロから最先端アーキテクチャを生成することを示す実験を行った。
  論文  参考訳（メタデータ） (2022-03-10T17:53:03Z)
• Poisoning the Search Space in Neural Architecture Search [0.0]
  我々は,探索空間におけるデータ中毒攻撃に対して,効率的なNASと呼ばれるアルゴリズムのロバスト性を評価する。 以上の結果から,NASを用いたアーキテクチャ探索の課題に対する洞察が得られた。
  論文  参考訳（メタデータ） (2021-06-28T05:45:57Z)
• Memory-Efficient Hierarchical Neural Architecture Search for Image Restoration [68.6505473346005]
  メモリ効率の高い階層型NAS HiNAS(HiNAS)を提案する。 単一の GTX1080Ti GPU では、BSD 500 でネットワークを消すのに約 1 時間、DIV2K で超解像構造を探すのに 3.5 時間しかかかりません。
  論文  参考訳（メタデータ） (2020-12-24T12:06:17Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• RC-DARTS: Resource Constrained Differentiable Architecture Search [162.7199952019152]
  資源制約付き微分可能なアーキテクチャ探索法(RC-DARTS)を提案する。 RC-DARTS法は,モデルサイズが小さく,計算量も少ない,軽量なニューラルアーキテクチャを学習する。
  論文  参考訳（メタデータ） (2019-12-30T05:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。