論文の概要: Angle-based Search Space Shrinking for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2004.13431v3
• Date: Thu, 16 Jul 2020 14:45:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 21:49:31.431620
• Title: Angle-based Search Space Shrinking for Neural Architecture Search
• Title（参考訳）: ニューラルアーキテクチャ探索のための角度に基づく探索空間縮小
• Authors: Yiming Hu, Yuding Liang, Zichao Guo, Ruosi Wan, Xiangyu Zhang, Yichen Wei, Qingyi Gu, Jian Sun
• Abstract要約: ニューラルネットワーク探索(NAS)のためのアングルベースサーチスペーススライキング(ABS) 提案手法は,未提案の候補を落として,検索空間を段階的に単純化する。 ABSは、有望なスランク検索空間を提供することで、既存のNASアプローチを劇的に強化することができる。
• 参考スコア（独自算出の注目度）: 78.49722661000442
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we present a simple and general search space shrinking method, called Angle-Based search space Shrinking (ABS), for Neural Architecture Search (NAS). Our approach progressively simplifies the original search space by dropping unpromising candidates, thus can reduce difficulties for existing NAS methods to find superior architectures. In particular, we propose an angle-based metric to guide the shrinking process. We provide comprehensive evidences showing that, in weight-sharing supernet, the proposed metric is more stable and accurate than accuracy-based and magnitude-based metrics to predict the capability of child models. We also show that the angle-based metric can converge fast while training supernet, enabling us to get promising shrunk search spaces efficiently. ABS can easily apply to most of NAS approaches (e.g. SPOS, FairNAS, ProxylessNAS, DARTS and PDARTS). Comprehensive experiments show that ABS can dramatically enhance existing NAS approaches by providing a promising shrunk search space.
• Abstract（参考訳）: 本研究では,ニューラルネットワーク探索(NAS)のためのアングルベース探索空間シュライキング(ABS)と呼ばれる,単純で汎用的な探索空間縮小手法を提案する。 提案手法は, 従来のNAS手法が優れたアーキテクチャを見つけることの難しさを軽減し, 探索空間を段階的に単純化する。 特に,縮小過程を導くために,角度に基づく計量法を提案する。 重み付けスーパーネットにおいて,提案手法は,子モデルの能力を予測するために,精度ベースおよび等級ベースの指標よりも安定かつ正確であることを示す。 また,超ネットの学習中に角度に基づくメトリックが高速に収束し,有望な探索空間を効率的に獲得できることを示した。 ABSは、ほとんどのNASアプローチ(例えば、SPOS、FairNAS、ProxylessNAS、DARTS、PDARTS)に容易に適用できる。 包括的実験により、ABSは有望なスランク検索空間を提供することで既存のNASアプローチを劇的に強化できることが示された。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• Towards Self-supervised and Weight-preserving Neural Architecture Search [38.497608743382145]
  本研究では,現在のNASフレームワークの拡張として,自己教師付き重み保存型ニューラルネットワーク探索(SSWP-NAS)を提案する。 CIFAR-10, CIFAR-100, ImageNetデータセットにおいて, 提案したフレームワークによって探索されたアーキテクチャが, 最先端の精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-06-08T18:48:05Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• Towards Less Constrained Macro-Neural Architecture Search [2.685668802278155]
  ニューラルアーキテクチャサーチ(NAS)ネットワークは、様々なタスクで最先端のパフォーマンスを達成する。 ほとんどのNAS手法は、探索を制約する人間定義の仮定に大きく依存している。 我々は,LCMNASが最小のGPU計算でゼロから最先端アーキテクチャを生成することを示す実験を行った。
  論文  参考訳（メタデータ） (2022-03-10T17:53:03Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• Generative Adversarial Neural Architecture Search [21.05611902967155]
  理論的に証明可能な収束保証を備えたGA-NAS(Generative Adversarial NAS)を提案する。 GA-NASは、他のNAS手法によって既に最適化されているベースラインを改善するために利用できることを示す。
  論文  参考訳（メタデータ） (2021-05-19T18:54:44Z)
• Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search [94.46818035655943]
  本稿では,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。 提案手法により,CNAS法は探索効率を大幅に向上し,既存のNAS法よりも優れたアーキテクチャを求めることができる。
  論文  参考訳（メタデータ） (2020-07-07T02:29:06Z)
• BS-NAS: Broadening-and-Shrinking One-Shot NAS with Searchable Numbers of Channels [25.43631259260473]
  ワンショット法はニューラルアーキテクチャサーチ(NAS)において最も一般的な方法の1つに進化した。 ワンショット法は、ウェイトシェアリングとスーパーネットの単一トレーニングにより、ニューラルネットワークサーチ(NAS)において最も一般的な方法の1つに進化した。 既存の手法では,各層に所定の数のチャネルが最適以下である場合と,重み結合と連続的な探索空間の拡大によるモデル平均化効果とランキング相関の低下という2つの問題に悩まされている。 Broadening-and-Shrinking One-Shot NAS (BS-NAS) フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-22T06:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。