論文の概要: NAS-Bench-Suite: NAS Evaluation is (Now) Surprisingly Easy

• arxiv url: http://arxiv.org/abs/2201.13396v1
• Date: Mon, 31 Jan 2022 18:02:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 14:40:37.613271
• Title: NAS-Bench-Suite: NAS Evaluation is (Now) Surprisingly Easy
• Title（参考訳）: NAS-Bench-Suite:NAS評価は驚くほど簡単
• Authors: Yash Mehta, Colin White, Arber Zela, Arjun Krishnakumar, Guri Zabergja, Shakiba Moradian, Mahmoud Safari, Kaicheng Yu, Frank Hutter
• Abstract要約: 本稿では,一般的なNASアルゴリズムの詳細な解析と,検索空間とデータセットの25種類の組み合わせによる性能予測手法を提案する。 我々はNASベンチマークの包括的なコレクションであるNAS-Bench-Suiteを紹介する。
• 参考スコア（独自算出の注目度）: 37.72015163462501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The release of tabular benchmarks, such as NAS-Bench-101 and NAS-Bench-201, has significantly lowered the computational overhead for conducting scientific research in neural architecture search (NAS). Although they have been widely adopted and used to tune real-world NAS algorithms, these benchmarks are limited to small search spaces and focus solely on image classification. Recently, several new NAS benchmarks have been introduced that cover significantly larger search spaces over a wide range of tasks, including object detection, speech recognition, and natural language processing. However, substantial differences among these NAS benchmarks have so far prevented their widespread adoption, limiting researchers to using just a few benchmarks. In this work, we present an in-depth analysis of popular NAS algorithms and performance prediction methods across 25 different combinations of search spaces and datasets, finding that many conclusions drawn from a few NAS benchmarks do not generalize to other benchmarks. To help remedy this problem, we introduce NAS-Bench-Suite, a comprehensive and extensible collection of NAS benchmarks, accessible through a unified interface, created with the aim to facilitate reproducible, generalizable, and rapid NAS research. Our code is available at https://github.com/automl/naslib.
• Abstract（参考訳）: NAS-Bench-101やNAS-Bench-201のような表型ベンチマークのリリースは、ニューラルネットワークサーチ(NAS)における科学的研究を行う際の計算オーバーヘッドを大幅に減らした。 実世界のNASアルゴリズムをチューニングするために広く採用され、使用されているが、これらのベンチマークは小さな検索空間に限られており、画像分類のみに焦点を当てている。 近年,オブジェクト検出,音声認識,自然言語処理など,幅広いタスクにまたがる検索空間を網羅するNASベンチマークがいくつか導入されている。 しかしながら、これらのNASベンチマークの実質的な違いは、研究者がほんの数個のベンチマークを使用することを制限して、広く採用されることを妨げている。 本研究では,一般的なNASアルゴリズムと25種類の検索空間とデータセットの組み合わせによる性能予測手法の詳細な解析を行い,NASベンチマークから得られた結論の多くが他のベンチマークに一般化されないことを示した。 NAS-Bench-SuiteはNASベンチマークの包括的かつ拡張可能な集合で、統一インターフェースを通じてアクセス可能であり、再現性、一般化性、迅速なNAS研究を促進することを目的としたものである。 私たちのコードはhttps://github.com/automl/naslibで利用可能です。

関連論文リスト

• How Much Is Hidden in the NAS Benchmarks? Few-Shot Adaptation of a NAS Predictor [22.87207410692821]
  我々は,メタラーニングの豊富な分野から借用し,これらの手法のNASへの適用性について検討する。 我々のメタラーニングアプローチは、クロスバリデーション実験において優れた(あるいは一致した)性能を示すだけでなく、新しい検索空間とタスクへの外挿に成功した。
  論文  参考訳（メタデータ） (2023-11-30T10:51:46Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
  既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。 我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:13:18Z)
• Surrogate NAS Benchmarks: Going Beyond the Limited Search Spaces of Tabular NAS Benchmarks [41.73906939640346]
  本稿では,任意の検索空間に対して安価なNASサロゲートベンチマークを作成する手法を提案する。 我々は、NASベンチマークが元の非サロゲートベンチマークでどれだけ異なるNASメソッドがうまく機能するかを忠実に見積もることができることを示した。 シュロゲートNASベンチマークは、NAS上の科学的に健全な作業を大規模でエキサイティングな検索空間に拡張するために必要なツールであると考えています。
  論文  参考訳（メタデータ） (2020-08-22T08:15:52Z)
• DSNAS: Direct Neural Architecture Search without Parameter Retraining [112.02966105995641]
  この観測に基づいて,タスク固有のエンドツーエンドであるNASの新たな問題定義を提案する。 低バイアスモンテカルロ推定でアーキテクチャとパラメータを同時に最適化する効率的な微分可能なNASフレームワークであるDSNASを提案する。 DSNASは、420GPU時間でImageNetで同等の精度(74.4%)のネットワークを発見し、総時間を34%以上削減した。
  論文  参考訳（メタデータ） (2020-02-21T04:41:47Z)
• NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search [42.82951139084501]
  ワンショットニューラルアーキテクチャサーチ(NAS)は、NASメソッドを実際に計算可能とする上で重要な役割を担っている。 我々は、最近導入された多くの変種にインスタンス化できるワンショットNASのための一般的なフレームワークを導入し、一般的なベンチマークフレームワークを導入する。
  論文  参考訳（メタデータ） (2020-01-28T15:50:22Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。