論文の概要: NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size

• arxiv url: http://arxiv.org/abs/2009.00437v6
• Date: Tue, 26 Jan 2021 02:33:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 01:39:06.950020
• Title: NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size
• Title（参考訳）: NATS-Bench: アーキテクチャトポロジとサイズのためのNASアルゴリズムのベンチマーク
• Authors: Xuanyi Dong, Lu Liu, Katarzyna Musial, Bogdan Gabrys
• Abstract要約: アーキテクチャトポロジとサイズの両方を検索するための統一ベンチマークであるNATS-Benchを提案する。 NATS-Benchには、アーキテクチャトポロジのための15,625のニューラルネットワーク候補と、3つのデータセット上のアーキテクチャサイズのための32,768の検索スペースが含まれている。
• 参考スコア（独自算出の注目度）: 31.903475598150152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) has attracted a lot of attention and has been illustrated to bring tangible benefits in a large number of applications in the past few years. Architecture topology and architecture size have been regarded as two of the most important aspects for the performance of deep learning models and the community has spawned lots of searching algorithms for both aspects of the neural architectures. However, the performance gain from these searching algorithms is achieved under different search spaces and training setups. This makes the overall performance of the algorithms to some extent incomparable and the improvement from a sub-module of the searching model unclear. In this paper, we propose NATS-Bench, a unified benchmark on searching for both topology and size, for (almost) any up-to-date NAS algorithm. NATS-Bench includes the search space of 15,625 neural cell candidates for architecture topology and 32,768 for architecture size on three datasets. We analyze the validity of our benchmark in terms of various criteria and performance comparison of all candidates in the search space. We also show the versatility of NATS-Bench by benchmarking 13 recent state-of-the-art NAS algorithms on it. All logs and diagnostic information trained using the same setup for each candidate are provided. This facilitates a much larger community of researchers to focus on developing better NAS algorithms in a more comparable and computationally cost friendly environment. All codes are publicly available at: https://xuanyidong.com/assets/projects/NATS-Bench.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は多くの注目を集めており、ここ数年で多くのアプリケーションに具体的なメリットをもたらすために説明されてきた。 アーキテクチャトポロジーとアーキテクチャのサイズは、ディープラーニングモデルのパフォーマンスにとって最も重要な側面の2つと見なされており、コミュニティは、ニューラルネットワークアーキテクチャの両面で多くの探索アルゴリズムを生み出した。 しかし、これらの探索アルゴリズムの性能向上は、異なる探索空間とトレーニング設定下で達成される。 これによりアルゴリズムの全体的な性能はある程度比較不能となり、探索モデルのサブモジュールによる改善が不明確になる。 本稿では,最新のNASアルゴリズムに対して,トポロジとサイズの両方を統一したベンチマークであるNATS-Benchを提案する。 nats-benchは、アーキテクチャトポロジーのニューラルネットワーク候補が15,625、アーキテクチャサイズが32,768である。 探索空間における全ての候補の様々な基準と性能比較から,ベンチマークの有効性を解析する。 さらに,最新の13種類のnasアルゴリズムをベンチマークすることにより,nats-benchの汎用性を示す。 各候補に対して同じ設定でトレーニングされたログと診断情報を提供する。 これにより、より同等で計算に費用がかかる環境で、より優れたNASアルゴリズムの開発に集中することができる。 すべてのコードは、https://xuanyidong.com/assets/projects/NATS-Benchで公開されている。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• Neural Architecture Ranker [19.21631623578852]
  アーキテクチャランキングは、最近、ニューラルネットワークサーチ(NAS)のための効率的で効果的なパフォーマンス予測器を設計することを提唱されている。 成層層化にインスパイアされた予測器,すなわちニューラルランサー(NAR)を提案する。
  論文  参考訳（メタデータ） (2022-01-30T04:54:59Z)
• Going Beyond Neural Architecture Search with Sampling-based Neural Ensemble Search [31.059040393415003]
  本稿では,Nurural Ensemble Search via Smpling (NESS) フレームワークに基づく2つの新しいサンプリングアルゴリズムを提案する。 我々のNESSアルゴリズムは、分類タスクと対角防御タスクの両方において改善された性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-09-06T15:18:37Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• Fine-Grained Stochastic Architecture Search [6.277767522867666]
  Fine-Grained Architecture Search (FiGS) は、より大きな候補アーキテクチャの集合を探索する微分可能な検索手法である。 FiGSは、構造化スパース正規化ペナルティを適用して、検索空間内の演算子を同時に選択・変更する。 既存の3つの検索空間にまたがって結果を示し、元の検索アルゴリズムのマッチングや性能を向上する。
  論文  参考訳（メタデータ） (2020-06-17T01:04:14Z)
• Local Search is a Remarkably Strong Baseline for Neural Architecture Search [0.0]
  ニューラルネットワーク探索(NAS)のための簡単な局所探索(LS)アルゴリズムを初めて検討する。 我々は、2つの確立された画像分類タスクに対して200Kのネットワーク評価を含む2つのベンチマークデータセット、MacroNAS-C10とMacroNAS-C100をリリースする。
  論文  参考訳（メタデータ） (2020-04-20T00:08:34Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。