論文の概要: GOLD-NAS: Gradual, One-Level, Differentiable

• arxiv url: http://arxiv.org/abs/2007.03331v1
• Date: Tue, 7 Jul 2020 10:37:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 18:12:12.129324
• Title: GOLD-NAS: Gradual, One-Level, Differentiable
• Title（参考訳）: GOLD-NAS: グラデール、ワンレベル、微分可能
• Authors: Kaifeng Bi, Lingxi Xie, Xin Chen, Longhui Wei, Qi Tian
• Abstract要約: GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。 1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
• 参考スコア（独自算出の注目度）: 100.12492801459105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has been a large literature of neural architecture search, but most existing work made use of heuristic rules that largely constrained the search flexibility. In this paper, we first relax these manually designed constraints and enlarge the search space to contain more than $10^{160}$ candidates. In the new space, most existing differentiable search methods can fail dramatically. We then propose a novel algorithm named Gradual One-Level Differentiable Neural Architecture Search (GOLD-NAS) which introduces a variable resource constraint to one-level optimization so that the weak operators are gradually pruned out from the super-network. In standard image classification benchmarks, GOLD-NAS can find a series of Pareto-optimal architectures within a single search procedure. Most of the discovered architectures were never studied before, yet they achieve a nice tradeoff between recognition accuracy and model complexity. We believe the new space and search algorithm can advance the search of differentiable NAS.
• Abstract（参考訳）: ニューラルネットワークの検索には多くの文献があるが、既存の作品の多くは、検索の柔軟性をほとんど制限したヒューリスティックなルールを使用している。 本稿では,手動で設計した制約を緩和し,探索空間を10^{160}$以上の候補を含むように拡張する。 新しい分野では、ほとんどの既存の差別化検索手法が劇的に失敗する可能性がある。 そこで我々は, 1レベル最適化に可変リソース制約を導入し, 弱い演算子が徐々にスーパーネットワークから追い出されるような, Gradual One-Level Differentiable Neural Architecture Search (GOLD-NAS) という新しいアルゴリズムを提案する。 標準画像分類ベンチマークでは、GOLD-NASは単一の探索手順内で一連のパレート最適化アーキテクチャを見つけることができる。 発見されたアーキテクチャのほとんどはこれまで研究されなかったが、認識精度とモデルの複雑さのトレードオフをうまく達成している。 新しい空間と探索アルゴリズムは、微分可能なNASの探索を促進することができると信じている。

関連論文リスト

• Efficient NAS with FaDE on Hierarchical Spaces [0.6372911857214884]
  階層型NAS空間の有限領域における相対的な性能予測を得るために、微分可能なアーキテクチャ探索を用いるFaDEを提案する。 FaDEは特に深層階層の多セル探索空間に向いている。
  論文  参考訳（メタデータ） (2024-04-24T21:33:17Z)
• Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars [66.05096551112932]
  文脈自由文法に基づく統一検索空間設計フレームワークを提案する。 それらの特性の強化と利用により,完全なアーキテクチャの探索を効果的に行うことができる。 既存のニューラルアーキテクチャ検索手法よりも検索戦略が優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-03T14:23:00Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• Zero-Cost Proxies Meet Differentiable Architecture Search [20.957570100784988]
  微分可能なニューラルアーキテクチャサーチ(NAS)は近年大きな注目を集めている。 DARTSの成功にもかかわらず、一部のケースでは堅牢性に欠ける。 微分可能なNASの文脈における新しい操作選択パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-06-12T15:33:36Z)
• One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking [97.60915598958968]
  本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。 最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
  論文  参考訳（メタデータ） (2021-04-01T16:29:49Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。