論文の概要: Network Space Search for Pareto-Efficient Spaces
- arxiv url: http://arxiv.org/abs/2104.11014v1
- Date: Thu, 22 Apr 2021 12:23:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-23 14:09:08.020244
- Title: Network Space Search for Pareto-Efficient Spaces
- Title（参考訳）: Pareto-Efficient Spacesのためのネットワーク空間探索
- Authors: Min-Fong Hong, Hao-Yun Chen, Min-Hung Chen, Yu-Syuan Xu, Hsien-Kai
Kuo, Yi-Min Tsai, Hung-Jen Chen, Kevin Jou
- Abstract要約: NSS(Network Space Search)という新しい問題を提案し、単一のアーキテクチャではなく、好ましいネットワーク空間を探します。
そこで本研究では,効率の良いネットワーク空間を自動的に探索するnss手法を提案する。
CIFAR-100では、平均2.3%の低いエラー率と3.7%のターゲット制約がベースラインよりも近く、満足なネットワークを見つけるのに必要なサンプルが約90%少ない。
- 参考スコア（独自算出の注目度）: 12.844947365278012
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Network spaces have been known as a critical factor in both handcrafted
network designs or defining search spaces for Neural Architecture Search (NAS).
However, an effective space involves tremendous prior knowledge and/or manual
effort, and additional constraints are required to discover efficiency-aware
architectures. In this paper, we define a new problem, Network Space Search
(NSS), as searching for favorable network spaces instead of a single
architecture. We propose an NSS method to directly search for efficient-aware
network spaces automatically, reducing the manual effort and immense cost in
discovering satisfactory ones. The resultant network spaces, named Elite
Spaces, are discovered from Expanded Search Space with minimal human expertise
imposed. The Pareto-efficient Elite Spaces are aligned with the Pareto front
under various complexity constraints and can be further served as NAS search
spaces, benefiting differentiable NAS approaches (e.g. In CIFAR-100, an
averagely 2.3% lower error rate and 3.7% closer to target constraint than the
baseline with around 90% fewer samples required to find satisfactory networks).
Moreover, our NSS approach is capable of searching for superior spaces in
future unexplored spaces, revealing great potential in searching for network
spaces automatically.
- Abstract（参考訳）: ネットワーク空間は、手作りのネットワーク設計やニューラルアーキテクチャサーチ(NAS)の検索空間の定義において重要な要素として知られている。
しかし、効果的な空間には膨大な事前知識や手作業が必要であり、効率を意識したアーキテクチャを発見するには追加の制約が必要である。
本稿では,ネットワーク空間探索(NSS)という新たな課題を,単一のアーキテクチャではなく,好ましいネットワーク空間の探索として定義する。
そこで本研究では,効率の良いネットワーク空間を自動的に探索するnss手法を提案する。
Elite Spacesという名前のネットワーク空間は、人間の専門知識が最小限に抑えられたExpanded Search Spaceから発見された。
パレート効率の良いエリート空間は、様々な複雑さの制約の下でパレートフロントと整列しており、さらにNAS探索空間として機能し、微分可能なNASアプローチ(例)の恩恵を受けることができる。
CIFAR-100では、平均2.3%のエラー率と3.7%がベースラインよりも目標に近く、十分なネットワークを見つけるのに必要なサンプルが約90%少ない)。
さらに,今後の未探索空間において優れた空間を探索することが可能であり,ネットワーク空間の自動探索において大きな可能性を秘めている。
関連論文リスト
- LISSNAS: Locality-based Iterative Search Space Shrinkage for Neural
Architecture Search [30.079267927860347]
大規模な空間をSOTA検索性能を持つ多種多様な小さな探索空間に縮小する自動アルゴリズムを提案する。
提案手法は,モバイル制約下でのイメージネットのSOTA Top-1精度77.6%,最良クラスであるKendal-Tau,アーキテクチャの多様性,検索空間サイズを実現している。
論文 参考訳（メタデータ） (2023-07-06T16:28:51Z) - Searching a High-Performance Feature Extractor for Text Recognition
Network [92.12492627169108]
優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。
空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。
本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-27T03:49:04Z) - Understanding and Accelerating Neural Architecture Search with
Training-Free and Theory-Grounded Metrics [117.4281417428145]
この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。
NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。
我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
論文 参考訳（メタデータ） (2021-08-26T17:52:07Z) - BossNAS: Exploring Hybrid CNN-transformers with Block-wisely
Self-supervised Neural Architecture Search [100.28980854978768]
BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介
探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。
また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
論文 参考訳（メタデータ） (2021-03-23T10:05:58Z) - AutoSpace: Neural Architecture Search with Less Human Interference [84.42680793945007]
現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。
探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。
学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
論文 参考訳（メタデータ） (2021-03-22T13:28:56Z) - Breaking the Curse of Space Explosion: Towards Efficient NAS with
Curriculum Search [94.46818035655943]
本稿では,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。
提案手法により,CNAS法は探索効率を大幅に向上し,既存のNAS法よりも優れたアーキテクチャを求めることができる。
論文 参考訳（メタデータ） (2020-07-07T02:29:06Z) - Angle-based Search Space Shrinking for Neural Architecture Search [78.49722661000442]
ニューラルネットワーク探索(NAS)のためのアングルベースサーチスペーススライキング(ABS)
提案手法は,未提案の候補を落として,検索空間を段階的に単純化する。
ABSは、有望なスランク検索空間を提供することで、既存のNASアプローチを劇的に強化することができる。
論文 参考訳（メタデータ） (2020-04-28T11:26:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。