論文の概要: Efficient Sampling for Predictor-Based Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2011.12043v1
- Date: Tue, 24 Nov 2020 11:36:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 12:10:03.908742
- Title: Efficient Sampling for Predictor-Based Neural Architecture Search
- Title（参考訳）: 予測型ニューラルネットワーク探索のための効率的なサンプリング
- Authors: Lukas Mauch, Stephen Tiedemann, Javier Alonso Garcia, Bac Nguyen Cong,
Kazuki Yoshiyama, Fabien Cardinaux, Thomas Kemp
- Abstract要約: ニューラルネットワーク探索のための予測器に基づくNASアルゴリズムについて検討する。
探索空間のサブセットに対してのみプロキシが計算されると,予測アルゴリズムのサンプル効率が劇的に低下することを示す。
これは、実際に予測器ベースのNASアルゴリズムを有用にするための重要なステップである。
- 参考スコア（独自算出の注目度）: 3.287802528135173
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, predictor-based algorithms emerged as a promising approach for
neural architecture search (NAS). For NAS, we typically have to calculate the
validation accuracy of a large number of Deep Neural Networks (DNNs), what is
computationally complex. Predictor-based NAS algorithms address this problem.
They train a proxy model that can infer the validation accuracy of DNNs
directly from their network structure. During optimization, the proxy can be
used to narrow down the number of architectures for which the true validation
accuracy must be computed, what makes predictor-based algorithms sample
efficient. Usually, we compute the proxy for all DNNs in the network search
space and pick those that maximize the proxy as candidates for optimization.
However, that is intractable in practice, because the search spaces are often
very large and contain billions of network architectures. The contributions of
this paper are threefold: 1) We define a sample efficiency gain to compare
different predictor-based NAS algorithms. 2) We conduct experiments on the
NASBench-101 dataset and show that the sample efficiency of predictor-based
algorithms decreases dramatically if the proxy is only computed for a subset of
the search space. 3) We show that if we choose the subset of the search space
on which the proxy is evaluated in a smart way, the sample efficiency of the
original predictor-based algorithm that has access to the full search space can
be regained. This is an important step to make predictor-based NAS algorithms
useful, in practice.
- Abstract（参考訳）: 近年,ニューラルアーキテクチャサーチ(NAS)の有望なアプローチとして,予測アルゴリズムが登場している。
nasの場合、計算的に複雑である大量のディープニューラルネットワーク(dnn)の検証精度を計算する必要があります。
予測に基づくNASアルゴリズムはこの問題に対処する。
彼らは、ネットワーク構造から直接dnnの検証精度を推測できるプロキシモデルをトレーニングする。
最適化中、プロキシを使用して、真の検証精度を計算しなければならないアーキテクチャの数を減らすことができる。
通常、ネットワーク検索空間内のすべてのDNNのプロキシを計算し、プロキシを最大化するプロキシを最適化候補として選択する。
しかし、検索空間は非常に大きく、数十億のネットワークアーキテクチャを含んでいるため、実際にはそれは難解である。
この論文の貢献は3つある。
1)異なる予測器に基づくnasアルゴリズムを比較するためにサンプル効率ゲインを定義する。
2)NASBench-101データセット上で実験を行い,探索空間のサブセットに対してのみプロキシを計算した場合,予測アルゴリズムのサンプル効率が劇的に低下することを示した。
3) プロキシがスマートに評価される検索空間のサブセットを選択すると,全検索空間にアクセス可能な予測器ベースのアルゴリズムのサンプル効率が回復できることを示す。
これは、予測器ベースのnasアルゴリズムを実用的にするための重要なステップである。
関連論文リスト
- Multi-Predict: Few Shot Predictors For Efficient Neural Architecture
Search [10.538869116366415]
本研究では,複数のタスクやNAS検索空間上でのサンプル効率の予測を実現するため,ゼロコストプロキシに基づく新しい検索空間独立NN符号化を提案する。
NN符号化により,NASBench-201からFBNetへ85HW以下の遅延予測器のマルチ検索空間転送が可能となった。
論文 参考訳（メタデータ） (2023-06-04T20:22:14Z) - Approximate Neural Architecture Search via Operation Distribution
Learning [4.358626952482686]
アーキテクチャセルが与えられた場合、その性能は使用した操作の比率に大きく依存することを示す。
この直感は特定の探索戦略であり、多様なNASアルゴリズムに適用することができる。
論文 参考訳（メタデータ） (2021-11-08T17:38:29Z) - A Data-driven Approach to Neural Architecture Search Initialization [12.901952926144258]
人口ベースNASアルゴリズムを初期化するためのデータ駆動手法を提案する。
ランダムおよびラテンハイパーキューブサンプリングに対する提案手法のベンチマークを行った。
論文 参考訳（メタデータ） (2021-11-05T14:30:19Z) - IQNAS: Interpretable Integer Quadratic Programming Neural Architecture
Search [40.77061519007659]
適合ネットワークを見つけるための一般的なアプローチは、制約付きニューラルネットワークサーチ(NAS)である。
従来はネットワークの精度に複雑な予測器を使用していた。
IQNAS (Interpretable Quadratic Programming Neural Architecture Search) を導入する。
論文 参考訳（メタデータ） (2021-10-24T09:45:00Z) - Learning to Hash Robustly, with Guarantees [79.68057056103014]
本稿では,理論的アルゴリズムと本質的に一致する最悪ケース保証を持つハミング空間のためのNSアルゴリズムを設計する。
理論的にも実用的にも、与えられたデータセットに対してアルゴリズムが最適化できる能力を評価する。
我々のアルゴリズムは、MNISTおよびImageNetデータセットに対する最悪のパフォーマンスのクエリを、1.8倍と2.1倍の精度でリコールする。
論文 参考訳（メタデータ） (2021-08-11T20:21:30Z) - OPANAS: One-Shot Path Aggregation Network Architecture Search for Object
Detection [82.04372532783931]
近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。
本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-08T01:48:53Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - BRP-NAS: Prediction-based NAS using GCNs [21.765796576990137]
BRP-NASは、グラフ畳み込みネットワーク(GCN)に基づく正確な性能予測によって実現された効率的なハードウェア対応NASである
提案手法はNAS-Bench-101とNAS-Bench-201の先行手法よりも優れていることを示す。
また、幅広いデバイスで動作するNAS-Bench-201モデルのレイテンシデータセットであるLatBenchもリリースしました。
論文 参考訳（メタデータ） (2020-07-16T21:58:43Z) - Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
精度予測に非神経モデルを用いる別の手法について検討する。
我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。
NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
論文 参考訳（メタデータ） (2020-07-09T13:28:49Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である
本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。
従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
論文 参考訳（メタデータ） (2020-03-27T17:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。