論文の概要: Local Search is a Remarkably Strong Baseline for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2004.08996v3
• Date: Sat, 25 Jul 2020 11:04:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-11 18:12:09.254990
• Title: Local Search is a Remarkably Strong Baseline for Neural Architecture Search
• Title（参考訳）: Local Search - ニューラルネットワーク検索の強力なベースライン
• Authors: T. Den Ottelander, A. Dushatskiy, M. Virgolin, P. A. N. Bosman
• Abstract要約: ニューラルネットワーク探索(NAS)のための簡単な局所探索(LS)アルゴリズムを初めて検討する。 我々は、2つの確立された画像分類タスクに対して200Kのネットワーク評価を含む2つのベンチマークデータセット、MacroNAS-C10とMacroNAS-C100をリリースする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS), i.e., the automation of neural network design, has gained much popularity in recent years with increasingly complex search algorithms being proposed. Yet, solid comparisons with simple baselines are often missing. At the same time, recent retrospective studies have found many new algorithms to be no better than random search (RS). In this work we consider, for the first time, a simple Local Search (LS) algorithm for NAS. We particularly consider a multi-objective NAS formulation, with network accuracy and network complexity as two objectives, as understanding the trade-off between these two objectives is arguably the most interesting aspect of NAS. The proposed LS algorithm is compared with RS and two evolutionary algorithms (EAs), as these are often heralded as being ideal for multi-objective optimization. To promote reproducibility, we create and release two benchmark datasets, named MacroNAS-C10 and MacroNAS-C100, containing 200K saved network evaluations for two established image classification tasks, CIFAR-10 and CIFAR-100. Our benchmarks are designed to be complementary to existing benchmarks, especially in that they are better suited for multi-objective search. We additionally consider a version of the problem with a much larger architecture space. While we find and show that the considered algorithms explore the search space in fundamentally different ways, we also find that LS substantially outperforms RS and even performs nearly as good as state-of-the-art EAs. We believe that this provides strong evidence that LS is truly a competitive baseline for NAS against which new NAS algorithms should be benchmarked.
• Abstract（参考訳）: ニューラルネットワーク設計の自動化であるニューラルアーキテクチャサーチ(NAS)は、近年、ますます複雑な検索アルゴリズムが提案され、大きな人気を集めている。 しかし、単純なベースラインとの堅実な比較は、しばしば欠落している。 同時に、最近の振り返り研究により、多くの新しいアルゴリズムがランダム検索(RS)に匹敵しないことがわかった。 本研究では,NASのための簡単な局所探索(LS)アルゴリズムを初めて検討する。 我々はネットワークの精度とネットワークの複雑さを2つの目的として、多目的nasの定式化を特に考慮している。 提案したLSアルゴリズムは、RSと2つの進化的アルゴリズム(EA)と比較される。 再現性を向上するために,CIFAR-10とCIFAR-100という2つの画像分類タスクに対して200Kのネットワーク評価を含む,MacroNAS-C10とMacroNAS-C100というベンチマークデータセットを作成し,リリースする。 我々のベンチマークは既存のベンチマークを補完するように設計されており、特に多目的探索に適している。 さらに、より大きなアーキテクチャ空間を持つ問題のバージョンも検討しています。 検討されたアルゴリズムが検索空間を根本的に異なる方法で探索していることを発見し、示す一方で、LSはRSを著しく上回り、最先端のEAと同等の性能を発揮することも見出した。 このことは、LSがNASの新しいNASアルゴリズムをベンチマークすべきNASの真の競合ベースラインであることを示す強力な証拠となると信じている。

関連論文リスト

• Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
  我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。 類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
  論文  参考訳（メタデータ） (2024-11-21T02:43:32Z)
• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Are Neural Architecture Search Benchmarks Well Designed? A Deeper Look Into Operation Importance [5.065947993017157]
  我々は、広く使われているNAS-Bench-101、NAS-Bench-201、TransNAS-Bench-101ベンチマークを実証分析した。 性能範囲の上限に近いアーキテクチャを生成するためには,操作プールのサブセットのみが必要であることがわかった。 一貫性のある畳み込みレイヤは、アーキテクチャのパフォーマンスに最も影響していると考えています。
  論文  参考訳（メタデータ） (2023-03-29T18:03:28Z)
• TND-NAS: Towards Non-differentiable Objectives in Progressive Differentiable NAS Framework [6.895590095853327]
  微分可能なアーキテクチャサーチは、ニューラルネットワークサーチ(NAS)分野において、徐々に主流の研究トピックになりつつある。 最近の差別化可能なNASは、検索性能の向上とGPUメモリ消費の削減も目指している。 微分可能なNASフレームワークにおける高効率と、多目的NASにおける非微分可能なメトリクス間の互換性を両立させたTND-NASを提案する。
  論文  参考訳（メタデータ） (2021-11-06T14:19:36Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size [31.903475598150152]
  アーキテクチャトポロジとサイズの両方を検索するための統一ベンチマークであるNATS-Benchを提案する。 NATS-Benchには、アーキテクチャトポロジのための15,625のニューラルネットワーク候補と、3つのデータセット上のアーキテクチャサイズのための32,768の検索スペースが含まれている。
  論文  参考訳（メタデータ） (2020-08-28T21:34:56Z)
• CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
  CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。 メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。 また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
  論文  参考訳（メタデータ） (2020-07-18T09:35:53Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)
• Scalable NAS with Factorizable Architectural Parameters [102.51428615447703]
  Neural Architecture Search (NAS)は、機械学習とコンピュータビジョンにおける新たなトピックである。 本稿では,多数の候補演算子をより小さな部分空間に分解することで,スケーラブルなアルゴリズムを提案する。 検索コストが少なめに増加し、再トレーニングに余分なコストがかからないため、これまで調査されなかった興味深いアーキテクチャが見つかる。
  論文  参考訳（メタデータ） (2019-12-31T10:26:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。