論文の概要: How Powerful are Performance Predictors in Neural Architecture Search?

• arxiv url: http://arxiv.org/abs/2104.01177v1
• Date: Fri, 2 Apr 2021 17:57:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 13:58:30.301877
• Title: How Powerful are Performance Predictors in Neural Architecture Search?
• Title（参考訳）: ニューラルアーキテクチャ検索におけるパフォーマンス予測はどの程度強力か?
• Authors: Colin White, Arber Zela, Binxin Ru, Yang Liu, Frank Hutter
• Abstract要約: 我々は31の手法を解析し,性能予測器の大規模研究を行った。 予測器の特定のファミリーが組み合わさることで、より優れた予測能力が得られることを示す。
• 参考スコア（独自算出の注目度）: 43.86743225322636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Early methods in the rapidly developing field of neural architecture search (NAS) required fully training thousands of neural networks. To reduce this extreme computational cost, dozens of techniques have since been proposed to predict the final performance of neural architectures. Despite the success of such performance prediction methods, it is not well-understood how different families of techniques compare to one another, due to the lack of an agreed-upon evaluation metric and optimization for different constraints on the initialization time and query time. In this work, we give the first large-scale study of performance predictors by analyzing 31 techniques ranging from learning curve extrapolation, to weight-sharing, to supervised learning, to "zero-cost" proxies. We test a number of correlation- and rank-based performance measures in a variety of settings, as well as the ability of each technique to speed up predictor-based NAS frameworks. Our results act as recommendations for the best predictors to use in different settings, and we show that certain families of predictors can be combined to achieve even better predictive power, opening up promising research directions. Our code, featuring a library of 31 performance predictors, is available at https://github.com/automl/naslib.
• Abstract（参考訳）: 急速に発展するニューラルネットワーク探索(NAS)の初期の手法は、何千ものニューラルネットワークを完全に訓練する必要があった。 この計算コストを極端に削減するために、神経アーキテクチャの最終性能を予測するために数十のテクニックが提案されている。 このようなパフォーマンス予測手法の成功にもかかわらず、合意された評価基準の欠如と初期化時間とクエリ時間に関する異なる制約に対する最適化のため、さまざまなテクニックが互いにどのように比較されるかはよく理解されていない。 本研究では,学習曲線の補間から重み付け,教師付き学習,「ゼロコスト」プロキシまで,31の手法を解析し,性能予測器の大規模研究を行った。 私たちは、さまざまな設定で相関およびランクベースのパフォーマンス計測をテストし、各テクニックによって予測子ベースのnasフレームワークをスピードアップする能力もテストします。 私たちの結果は、さまざまな設定で最適な予測器を推奨し、予測器の特定のファミリーを組み合わせることで、より優れた予測能力を達成し、有望な研究の方向性を開くことができることを示します。 当社のコードには31のパフォーマンス予測ライブラリがあり、https://github.com/automl/naslib.comから入手可能です。

関連論文リスト

• FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search [10.699485270006601]
  ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。 この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。 実験の結果, 予測精度は3%～16%向上し, 予測精度は有意に向上した。
  論文  参考訳（メタデータ） (2024-04-24T03:22:49Z)
• AIO-P: Expanding Neural Performance Predictors Beyond Image Classification [22.743278613519152]
  アーキテクチャの例でニューラルネットワーク予測器を事前訓練するための新しいオールインワン予測器(AIO-P)を提案する。 AIO-Pは平均絶対誤差(MAE)とスピアマンランク相関(SRCC)をそれぞれ1%以下と0.5以上で達成できる。
  論文  参考訳（メタデータ） (2022-11-30T18:30:41Z)
• Confidence-Nets: A Step Towards better Prediction Intervals for regression Neural Networks on small datasets [0.0]
  そこで本研究では,予測の不確かさを推定し,精度を向上し,予測変動の間隔を与えるアンサンブル手法を提案する。 提案手法は様々なデータセットで検証され,ニューラルネットワークモデルの性能が大幅に向上した。
  論文  参考訳（メタデータ） (2022-10-31T06:38:40Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Learning Predictions for Algorithms with Predictions [49.341241064279714]
  予測器を学習するアルゴリズムに対して,一般的な設計手法を導入する。 オンライン学習の手法を応用して、敵のインスタンスに対して学習し、堅牢性と一貫性のあるトレードオフを調整し、新しい統計的保証を得る。 両部マッチング,ページマイグレーション,スキーレンタル,ジョブスケジューリングの手法を解析することにより,学習アルゴリズムの導出におけるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-18T17:25:43Z)
• RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving [74.61723678821049]
  予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。 予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。 その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
  論文  参考訳（メタデータ） (2021-08-18T07:45:21Z)
• Self-supervised Representation Learning for Evolutionary Neural Architecture Search [9.038625856798227]
  最近提案されたニューラルアーキテクチャサーチ(NAS)アルゴリズムは、アーキテクチャサーチを高速化するためにニューラル予測器を採用している。 少量のトレーニングデータを用いて予測精度の高いニューラル予測器を得る方法は、ニューラル予測器に基づくNASの中心的な問題である。 ニューラルネットワークを組み込んだアーキテクチャを事前学習するための2つの自己教師型学習手法を考案した。 NASBench-101とNASBench201のベンチマークで、事前学習したニューラル予測器と進化的NASアルゴリズムを統合する際に、最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-10-31T04:57:16Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。