論文の概要: EmProx: Neural Network Performance Estimation For Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2206.05972v1
• Date: Mon, 13 Jun 2022 08:35:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-15 00:16:05.825638
• Title: EmProx: Neural Network Performance Estimation For Neural Architecture Search
• Title（参考訳）: emprox:ニューラルアーキテクチャ探索のためのニューラルネットワーク性能推定
• Authors: G.G.H. Franken, P. Singh, J. Vanschoren
• Abstract要約: 本研究では,アーキテクチャを連続的な埋め込み空間にマッピングする新しい手法であるEmProx Scoreを提案する。 次に、その性能が知られているアーキテクチャの埋め込みベクトルに基づいて、重み付けされたkNNを用いて、候補の性能を推定する。 本手法の性能評価は,NAOの精度はNAOの約9倍高速であり,NAOの性能予測値に匹敵する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Common Neural Architecture Search methods generate large amounts of candidate architectures that need training in order to assess their performance and find an optimal architecture. To minimize the search time we use different performance estimation strategies. The effectiveness of such strategies varies in terms of accuracy and fit and query time. This study proposes a new method, EmProx Score (Embedding Proximity Score). Similar to Neural Architecture Optimization (NAO), this method maps candidate architectures to a continuous embedding space using an encoder-decoder framework. The performance of candidates is then estimated using weighted kNN based on the embedding vectors of architectures of which the performance is known. Performance estimations of this method are comparable to the MLP performance predictor used in NAO in terms of accuracy, while being nearly nine times faster to train compared to NAO. Benchmarking against other performance estimation strategies currently used shows similar to better accuracy, while being five up to eighty times faster.
• Abstract（参考訳）: 一般的なニューラルアーキテクチャ探索手法は、パフォーマンスを評価し最適なアーキテクチャを見つけるためにトレーニングを必要とする大量の候補アーキテクチャを生成する。 検索時間を最小化するために、異なるパフォーマンス推定戦略を使用する。 このような戦略の有効性は、正確性、適合性、クエリ時間によって異なる。 本研究では,EmProx Score (Embedding Proximity Score) という新しい手法を提案する。 ニューラルネットワーク最適化(nao)と同様に、この手法は候補アーキテクチャをエンコーダ-デコーダフレームワークを使用して連続的な埋め込み空間にマッピングする。 次に、その性能が知られているアーキテクチャの埋め込みベクトルに基づいて、重み付きkNNを用いて候補の性能を推定する。 本手法の性能評価は,NAO と比較して約9倍高速であり,NAO で使用される MLP 性能予測器と同等である。 現在使用されている他のパフォーマンス評価戦略に対するベンチマークは、より正確で、5倍から80倍高速であることを示している。

関連論文リスト

• NAAP-440 Dataset and Baseline for Neural Architecture Accuracy Prediction [1.2183405753834562]
  440のニューラルアーキテクチャのNAAP-440データセットを導入し、CIFAR10で定型レシピを用いてトレーニングした。 実験では、既製の回帰アルゴリズムを使用してトレーニングプロセスの最大10%を実行することで、アーキテクチャの精度を正確に予測できるだけでなく、より正確に予測できることが示されている。 このアプローチはNASベースの研究を加速するための強力なツールとなり、それによってその効率が劇的に向上する。
  論文  参考訳（メタデータ） (2022-09-14T13:21:39Z)
• Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
  本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。 NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-03-31T10:16:10Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving [74.61723678821049]
  予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。 予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。 その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
  論文  参考訳（メタデータ） (2021-08-18T07:45:21Z)
• How Powerful are Performance Predictors in Neural Architecture Search? [43.86743225322636]
  我々は31の手法を解析し,性能予測器の大規模研究を行った。 予測器の特定のファミリーが組み合わさることで、より優れた予測能力が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-02T17:57:16Z)
• Contrastive Neural Architecture Search with Neural Architecture Comparators [46.45102111497492]
  neural architecture search(nas)における重要なステップの1つは、候補アーキテクチャのパフォーマンスを見積もることである。 既存のメソッドは、バリデーションパフォーマンスを直接使用するか、あるいは予測子を学習してパフォーマンスを見積もる。 本稿では,アーキテクチャ間の比較結果を報奨としてアーキテクチャ探索を行うCTNAS(Contrastive Neural Architecture Search)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-08T11:24:07Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Bayesian Neural Architecture Search using A Training-Free Performance Metric [7.775212462771685]
  リカレントニューラルネットワーク(RNN)は時系列予測の強力なアプローチである。 本稿では,ベイズ最適化(BO)アルゴリズムの変種を用いて,アーキテクチャ最適化問題に取り組むことを提案する。 また,可変長アーキテクチャ表現に対処する3つの固定長符号化方式を提案する。
  論文  参考訳（メタデータ） (2020-01-29T08:42:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。