論文の概要: Surrogate NAS Benchmarks: Going Beyond the Limited Search Spaces of Tabular NAS Benchmarks

• arxiv url: http://arxiv.org/abs/2008.09777v4
• Date: Thu, 14 Apr 2022 15:23:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 08:12:18.506127
• Title: Surrogate NAS Benchmarks: Going Beyond the Limited Search Spaces of Tabular NAS Benchmarks
• Title（参考訳）: サーロゲートNASベンチマーク:タブラルNASベンチマークの検索スペースを超越する
• Authors: Arber Zela, Julien Siems, Lucas Zimmer, Jovita Lukasik, Margret Keuper, Frank Hutter
• Abstract要約: 本稿では,任意の検索空間に対して安価なNASサロゲートベンチマークを作成する手法を提案する。 我々は、NASベンチマークが元の非サロゲートベンチマークでどれだけ異なるNASメソッドがうまく機能するかを忠実に見積もることができることを示した。 シュロゲートNASベンチマークは、NAS上の科学的に健全な作業を大規模でエキサイティングな検索空間に拡張するために必要なツールであると考えています。
• 参考スコア（独自算出の注目度）: 41.73906939640346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The most significant barrier to the advancement of Neural Architecture Search (NAS) is its demand for large computational resources, which hinders scientifically sound empirical evaluations of NAS methods. Tabular NAS benchmarks have alleviated this problem substantially, making it possible to properly evaluate NAS methods in seconds on commodity machines. However, an unintended consequence of tabular NAS benchmarks has been a focus on extremely small architectural search spaces since their construction relies on exhaustive evaluations of the space. This leads to unrealistic results that do not transfer to larger spaces. To overcome this fundamental limitation, we propose a methodology to create cheap NAS surrogate benchmarks for arbitrary search spaces. We exemplify this approach by creating surrogate NAS benchmarks on the existing tabular NAS-Bench-101 and on two widely used NAS search spaces with up to $10^{21}$ architectures ($10^{13}$ times larger than any previous tabular NAS benchmark). We show that surrogate NAS benchmarks can model the true performance of architectures better than tabular benchmarks (at a small fraction of the cost), that they lead to faithful estimates of how well different NAS methods work on the original non-surrogate benchmark, and that they can generate new scientific insight. We open-source all our code and believe that surrogate NAS benchmarks are an indispensable tool to extend scientifically sound work on NAS to large and exciting search spaces.
• Abstract（参考訳）: ニューラル・アーキテクチャ・サーチ(NAS)の進歩における最も重要な障壁は、大規模な計算資源の需要であり、NAS手法の科学的に実験的な評価を妨げる。 タブラルNASベンチマークはこの問題を大幅に軽減し、コモディティマシン上でNASメソッドを数秒で適切に評価することが可能になった。 しかしながら、表式NASベンチマークの意図しない結果が、その構成が空間の徹底的な評価に依存するため、非常に小さなアーキテクチャ検索空間に焦点をあてている。 これは、より大きな空間に移動しない非現実的な結果をもたらす。 この基本的な制限を克服するために,任意の検索空間に対して安価にnassurrogateベンチマークを作成する手法を提案する。 我々は、既存の表形式NAS-Bench-101と、最大10^{21}$アーキテクチャを持つ2つの広く使われているNAS検索空間(以前の表型NASベンチマークの10^{13}$)上で、サロゲートNASベンチマークを作成することで、このアプローチを実証する。 我々は,NASベンチマークが表型ベンチマークよりも優れたアーキテクチャ性能をモデル化できることを示し,NASメソッドが元の非サロゲートベンチマークでどの程度うまく機能するかを忠実に推定し,新たな科学的洞察を得られることを示した。 我々はすべてのコードをオープンソース化し、NASベンチマークはNASに関する科学的に健全な作業を大規模でエキサイティングな検索空間に拡張するために必要なツールであると信じています。

関連論文リスト

• Accel-NASBench: Sustainable Benchmarking for Accelerator-Aware NAS [3.598880812393792]
  本稿では,ベンチマーク構築のコストをかなりのマージンで削減する,訓練プロキシの検索を可能にする手法を提案する。 ベンチマークは正確で,最先端のハードウェア対応モデルをコストゼロで検索できることを示す。
  論文  参考訳（メタデータ） (2024-04-09T06:23:41Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• NAS-Bench-Suite: NAS Evaluation is (Now) Surprisingly Easy [37.72015163462501]
  本稿では,一般的なNASアルゴリズムの詳細な解析と,検索空間とデータセットの25種類の組み合わせによる性能予測手法を提案する。 我々はNASベンチマークの包括的なコレクションであるNAS-Bench-Suiteを紹介する。
  論文  参考訳（メタデータ） (2022-01-31T18:02:09Z)
• AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment [23.988393741948485]
  ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。 アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。 NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
  論文  参考訳（メタデータ） (2020-12-11T05:45:03Z)
• DSNAS: Direct Neural Architecture Search without Parameter Retraining [112.02966105995641]
  この観測に基づいて,タスク固有のエンドツーエンドであるNASの新たな問題定義を提案する。 低バイアスモンテカルロ推定でアーキテクチャとパラメータを同時に最適化する効率的な微分可能なNASフレームワークであるDSNASを提案する。 DSNASは、420GPU時間でImageNetで同等の精度(74.4%)のネットワークを発見し、総時間を34%以上削減した。
  論文  参考訳（メタデータ） (2020-02-21T04:41:47Z)
• NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search [42.82951139084501]
  ワンショットニューラルアーキテクチャサーチ(NAS)は、NASメソッドを実際に計算可能とする上で重要な役割を担っている。 我々は、最近導入された多くの変種にインスタンス化できるワンショットNASのための一般的なフレームワークを導入し、一般的なベンチマークフレームワークを導入する。
  論文  参考訳（メタデータ） (2020-01-28T15:50:22Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。