論文の概要: BLOX: Macro Neural Architecture Search Benchmark and Algorithms

• arxiv url: http://arxiv.org/abs/2210.07271v1
• Date: Thu, 13 Oct 2022 18:06:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 17:09:17.598351
• Title: BLOX: Macro Neural Architecture Search Benchmark and Algorithms
• Title（参考訳）: BLOX: マクロニューラルネットワーク検索ベンチマークとアルゴリズム
• Authors: Thomas Chun Pong Chau, {\L}ukasz Dudziak, Hongkai Wen, Nicholas Donald Lane, Mohamed S Abdelfattah
• Abstract要約: ニューラルアーキテクチャサーチ(NAS)は、多数の高性能ニューラルネットワークの設計に成功している。 NASは一般に計算集約的であるため、既存のほとんどのアプローチでは、単一のブロックの操作と位相構造を決定するために探索を制限している。 近年の研究では、モデル内のブロックが異なることができるマクロ検索空間が、より良い性能をもたらすことが示されている。
• 参考スコア（独自算出の注目度）: 16.296454205012733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) has been successfully used to design numerous high-performance neural networks. However, NAS is typically compute-intensive, so most existing approaches restrict the search to decide the operations and topological structure of a single block only, then the same block is stacked repeatedly to form an end-to-end model. Although such an approach reduces the size of search space, recent studies show that a macro search space, which allows blocks in a model to be different, can lead to better performance. To provide a systematic study of the performance of NAS algorithms on a macro search space, we release Blox - a benchmark that consists of 91k unique models trained on the CIFAR-100 dataset. The dataset also includes runtime measurements of all the models on a diverse set of hardware platforms. We perform extensive experiments to compare existing algorithms that are well studied on cell-based search spaces, with the emerging blockwise approaches that aim to make NAS scalable to much larger macro search spaces. The benchmark and code are available at https://github.com/SamsungLabs/blox.
• Abstract（参考訳）: neural architecture search (nas) は多くの高性能ニューラルネットワークの設計に成功している。 しかし、NASは通常計算集約であり、既存のほとんどのアプローチでは単一のブロックのみの操作と位相構造を決定する探索を制限し、同じブロックを積み重ねてエンドツーエンドモデルを形成する。 このような手法は探索空間を小さくするが、最近の研究では、モデル内のブロックが異なることができるマクロ探索空間がより良い性能をもたらすことが示されている。 マクロ探索空間におけるnasアルゴリズムの性能を体系的に研究するために、我々は、cifar-100データセットでトレーニングされた91kのユニークなモデルからなるベンチマークであるbloxをリリースする。 データセットには、さまざまなハードウェアプラットフォーム上での全モデルのランタイム測定も含まれている。 我々は、セルベースの検索空間でよく研究されている既存のアルゴリズムと、より大きなマクロ検索空間にnasをスケーラブルにすることを目的とした新しいブロックワイズアプローチを比較するために、広範囲な実験を行う。 ベンチマークとコードはhttps://github.com/SamsungLabs/blox.comで公開されている。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• MathNAS: If Blocks Have a Role in Mathematical Architecture Design [0.0]
  数学的プログラミングに基づく一般的なNASフレームワークであるMathNASを紹介する。 MathNASでは、検索空間における$m*n$可能なビルディングブロックの性能をまず計算し、ネットワークの性能を直接予測する。 提案手法は,ネットワーク性能評価の複雑さを効果的に軽減する。
  論文  参考訳（メタデータ） (2023-11-08T04:34:18Z)
• Towards Less Constrained Macro-Neural Architecture Search [2.685668802278155]
  ニューラルアーキテクチャサーチ(NAS)ネットワークは、様々なタスクで最先端のパフォーマンスを達成する。 ほとんどのNAS手法は、探索を制約する人間定義の仮定に大きく依存している。 我々は,LCMNASが最小のGPU計算でゼロから最先端アーキテクチャを生成することを示す実験を行った。
  論文  参考訳（メタデータ） (2022-03-10T17:53:03Z)
• Prioritized Architecture Sampling with Monto-Carlo Tree Search [54.72096546595955]
  ワンショットニューラルアーキテクチャサーチ(NAS)法は,検索空間全体を1つのネットワークとして考えることにより,検索コストを大幅に削減する。 本稿では,モンテカルロ木(MCT)をモデルとした探索空間を用いたモンテカルロ木探索(MCTS)に基づくサンプリング戦略について紹介する。 公平な比較のために、CIFAR-10で評価されたマクロ検索空間、すなわちNAS-Bench-MacroのオープンソースNASベンチマークを構築する。
  論文  参考訳（メタデータ） (2021-03-22T15:09:29Z)
• NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size [31.903475598150152]
  アーキテクチャトポロジとサイズの両方を検索するための統一ベンチマークであるNATS-Benchを提案する。 NATS-Benchには、アーキテクチャトポロジのための15,625のニューラルネットワーク候補と、3つのデータセット上のアーキテクチャサイズのための32,768の検索スペースが含まれている。
  論文  参考訳（メタデータ） (2020-08-28T21:34:56Z)
• Local Search is a Remarkably Strong Baseline for Neural Architecture Search [0.0]
  ニューラルネットワーク探索(NAS)のための簡単な局所探索(LS)アルゴリズムを初めて検討する。 我々は、2つの確立された画像分類タスクに対して200Kのネットワーク評価を含む2つのベンチマークデータセット、MacroNAS-C10とMacroNAS-C100をリリースする。
  論文  参考訳（メタデータ） (2020-04-20T00:08:34Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)
• Scalable NAS with Factorizable Architectural Parameters [102.51428615447703]
  Neural Architecture Search (NAS)は、機械学習とコンピュータビジョンにおける新たなトピックである。 本稿では,多数の候補演算子をより小さな部分空間に分解することで,スケーラブルなアルゴリズムを提案する。 検索コストが少なめに増加し、再トレーニングに余分なコストがかからないため、これまで調査されなかった興味深いアーキテクチャが見つかる。
  論文  参考訳（メタデータ） (2019-12-31T10:26:56Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。