論文の概要: Evolving Search Space for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2011.10904v2
• Date: Wed, 18 Aug 2021 13:35:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 09:07:38.729285
• Title: Evolving Search Space for Neural Architecture Search
• Title（参考訳）: ニューラルアーキテクチャ探索のための進化する探索空間
• Authors: Yuanzheng Ci, Chen Lin, Ming Sun, Boyu Chen, Hongwen Zhang, Wanli Ouyang
• Abstract要約: 最適化された検索空間サブセットを維持することにより,前回の取り組みから得られた結果を増幅するニューラルサーチ空間進化(NSE)方式を提案する。 我々は333万のFLOPでImageNet上で77.3%のトップ1リトレーニング精度を実現し、最先端の性能を得た。 遅延制約が適用された場合、我々の結果は、77.9%のTop-1再トレーニング精度を持つ、以前の最高のパフォーマンスのモバイルモデルよりも優れた性能が得られる。
• 参考スコア（独自算出の注目度）: 70.71153433676024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The automation of neural architecture design has been a coveted alternative to human experts. Recent works have small search space, which is easier to optimize but has a limited upper bound of the optimal solution. Extra human design is needed for those methods to propose a more suitable space with respect to the specific task and algorithm capacity. To further enhance the degree of automation for neural architecture search, we present a Neural Search-space Evolution (NSE) scheme that iteratively amplifies the results from the previous effort by maintaining an optimized search space subset. This design minimizes the necessity of a well-designed search space. We further extend the flexibility of obtainable architectures by introducing a learnable multi-branch setting. By employing the proposed method, a consistent performance gain is achieved during a progressive search over upcoming search spaces. We achieve 77.3% top-1 retrain accuracy on ImageNet with 333M FLOPs, which yielded a state-of-the-art performance among previous auto-generated architectures that do not involve knowledge distillation or weight pruning. When the latency constraint is adopted, our result also performs better than the previous best-performing mobile models with a 77.9% Top-1 retrain accuracy.
• Abstract（参考訳）: 神経アーキテクチャ設計の自動化は、人間の専門家に取って代わるものだ。 近年の研究では, 探索空間が小さく, 最適化が容易だが, 最適解の上限が限られている。 これらの手法には、特定のタスクとアルゴリズム能力に関してより適切な空間を提案するために、余分な人間設計が必要である。 ニューラルネットワーク探索の自動化の度合いをさらに高めるため、最適化された検索空間サブセットを維持することにより、前回の取り組みから結果を反復的に増幅するニューラル検索空間進化(NSE)方式を提案する。 この設計はよく設計された探索空間の必要性を最小化する。 学習可能なマルチブランチ設定を導入することで、取得可能なアーキテクチャの柔軟性をさらに広げる。 提案手法を用いることで,探索空間の進行的探索において,一貫した性能向上が達成される。 333MのFLOPを用いてImageNet上で77.3%のストレート1再トレーニング精度を実現し,従来の自動生成アーキテクチャでは知識蒸留や重量刈り込みを伴わない最先端性能を実現した。 レイテンシ制約が適用されると、以前のベストパフォーマンスなモバイルモデルよりも、77.9%のtop-1リトレーニング精度でパフォーマンスが向上します。

関連論文リスト

• Flexible Channel Dimensions for Differentiable Architecture Search [50.33956216274694]
  本稿では,効率的な動的チャネル割当アルゴリズムを用いた新しい微分可能なニューラルアーキテクチャ探索法を提案する。 提案するフレームワークは,タスク精度と推論遅延において,従来の手法と等価なDNNアーキテクチャを見つけることができることを示す。
  論文  参考訳（メタデータ） (2023-06-13T15:21:38Z)
• Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
  興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。 基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。 我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
  論文  参考訳（メタデータ） (2022-09-27T17:51:31Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• Learning Where To Look -- Generative NAS is Surprisingly Efficient [11.83842808044211]
  本稿では,より有望な潜在部分空間からサンプルを生成することを反復的に学習する,代理予測器と組み合わせた生成モデルを提案する。 このアプローチは、クエリ量を低く保ちながら、非常に効率的で効率的なアーキテクチャ検索をもたらす。
  論文  参考訳（メタデータ） (2022-03-16T16:27:11Z)
• Augmenting Novelty Search with a Surrogate Model to Engineer Meta-Diversity in Ensembles of Classifiers [5.8497361730688695]
  行動多様性を促進するために神経進化とノベルティ検索を組み合わせることで、分類のための高性能なアンサンブルを構築することができる。 本稿では,2つのニューラルネットワークアーキテクチャ間の挙動距離を推定する代理モデルを用いて,この制限を克服する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-30T19:13:32Z)
• AutoSpace: Neural Architecture Search with Less Human Interference [84.42680793945007]
  現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。 探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。 学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
  論文  参考訳（メタデータ） (2021-03-22T13:28:56Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks [15.740179244963116]
  GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。 本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。 我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-16T13:27:30Z)
• Neural Architecture Generator Optimization [9.082931889304723]
  我々はまず,NASを最適ネットワーク生成器の探索問題として検討する。 本稿では,非常に多様なネットワークタイプを表現可能な,階層的でグラフベースの検索空間を提案する。
  論文  参考訳（メタデータ） (2020-04-03T06:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。