論文の概要: AutoSpace: Neural Architecture Search with Less Human Interference

• arxiv url: http://arxiv.org/abs/2103.11833v1
• Date: Mon, 22 Mar 2021 13:28:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-03-23 14:26:11.069132
• Title: AutoSpace: Neural Architecture Search with Less Human Interference
• Title（参考訳）: AutoSpace: 人間の干渉が少ないニューラルアーキテクチャ検索
• Authors: Daquan Zhou, Xiaojie Jin, Xiaochen Lian, Linjie Yang, Yujing Xue, Qibin Hou, Jiashi Feng
• Abstract要約: 現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。 探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。 学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
• 参考スコア（独自算出の注目度）: 84.42680793945007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current neural architecture search (NAS) algorithms still require expert knowledge and effort to design a search space for network construction. In this paper, we consider automating the search space design to minimize human interference, which however faces two challenges: the explosive complexity of the exploration space and the expensive computation cost to evaluate the quality of different search spaces. To solve them, we propose a novel differentiable evolutionary framework named AutoSpace, which evolves the search space to an optimal one with following novel techniques: a differentiable fitness scoring function to efficiently evaluate the performance of cells and a reference architecture to speedup the evolution procedure and avoid falling into sub-optimal solutions. The framework is generic and compatible with additional computational constraints, making it feasible to learn specialized search spaces that fit different computational budgets. With the learned search space, the performance of recent NAS algorithms can be improved significantly compared with using previously manually designed spaces. Remarkably, the models generated from the new search space achieve 77.8% top-1 accuracy on ImageNet under the mobile setting (MAdds < 500M), out-performing previous SOTA EfficientNet-B0 by 0.7%. All codes will be made public.
• Abstract（参考訳）: 現在のニューラルネットワークサーチ(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計する専門家の知識と努力を必要とする。 本稿では,人間の干渉を最小限に抑えるために,探索空間設計の自動化を検討するが,探索空間の爆発的複雑さと,探索空間の品質を評価するための高価な計算コストの2つの課題に直面する。 そこで本研究では,探索空間を最適に進化させる新しい進化フレームワークであるAutoSpaceを提案する。このフレームワークは,細胞の性能を効率よく評価し,進化過程を高速化し,準最適解に陥ることを避けるための,微分可能な適合度スコアリング機能と参照アーキテクチャである。 このフレームワークは汎用的で、追加の計算制約と互換性があり、異なる計算予算に適合する特別な探索空間を学習することができる。 学習した検索空間では、最近のNASアルゴリズムの性能は以前手作業で設計した空間に比べて大幅に向上できる。 注目すべきは、新しい検索空間から生成されたモデルは、モバイル環境でのImageNetで77.8%の精度(MAdds < 500M)を達成し、以前のSOTA効率の良いNet-B0を0.7%上回ったことである。 すべてのコードは公開されます。

関連論文リスト

• LISSNAS: Locality-based Iterative Search Space Shrinkage for Neural Architecture Search [30.079267927860347]
  大規模な空間をSOTA検索性能を持つ多種多様な小さな探索空間に縮小する自動アルゴリズムを提案する。 提案手法は,モバイル制約下でのイメージネットのSOTA Top-1精度77.6%,最良クラスであるKendal-Tau,アーキテクチャの多様性,検索空間サイズを実現している。
  論文  参考訳（メタデータ） (2023-07-06T16:28:51Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Evolving Search Space for Neural Architecture Search [70.71153433676024]
  最適化された検索空間サブセットを維持することにより,前回の取り組みから得られた結果を増幅するニューラルサーチ空間進化(NSE)方式を提案する。 我々は333万のFLOPでImageNet上で77.3%のトップ1リトレーニング精度を実現し、最先端の性能を得た。 遅延制約が適用された場合、我々の結果は、77.9%のTop-1再トレーニング精度を持つ、以前の最高のパフォーマンスのモバイルモデルよりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-11-22T01:11:19Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Neural Architecture Generator Optimization [9.082931889304723]
  我々はまず,NASを最適ネットワーク生成器の探索問題として検討する。 本稿では,非常に多様なネットワークタイプを表現可能な,階層的でグラフベースの検索空間を提案する。
  論文  参考訳（メタデータ） (2020-04-03T06:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。