論文の概要: RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving

• arxiv url: http://arxiv.org/abs/2108.08019v1
• Date: Wed, 18 Aug 2021 07:45:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 21:31:31.823978
• Title: RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving
• Title（参考訳）: RANK-NOSH:非一様逐次Halvingによる予測に基づく効率的なアーキテクチャ検索
• Authors: Ruochen Wang, Xiangning Chen, Minhao Cheng, Xiaocheng Tang, Cho-Jui Hsieh
• Abstract要約: 予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。 予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。 その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
• 参考スコア（独自算出の注目度）: 74.61723678821049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predictor-based algorithms have achieved remarkable performance in the Neural Architecture Search (NAS) tasks. However, these methods suffer from high computation costs, as training the performance predictor usually requires training and evaluating hundreds of architectures from scratch. Previous works along this line mainly focus on reducing the number of architectures required to fit the predictor. In this work, we tackle this challenge from a different perspective - improve search efficiency by cutting down the computation budget of architecture training. We propose NOn-uniform Successive Halving (NOSH), a hierarchical scheduling algorithm that terminates the training of underperforming architectures early to avoid wasting budget. To effectively leverage the non-uniform supervision signals produced by NOSH, we formulate predictor-based architecture search as learning to rank with pairwise comparisons. The resulting method - RANK-NOSH, reduces the search budget by ~5x while achieving competitive or even better performance than previous state-of-the-art predictor-based methods on various spaces and datasets.
• Abstract（参考訳）: 予測に基づくアルゴリズムは、ニューラルネットワーク探索(NAS)タスクにおいて顕著なパフォーマンスを達成した。 しかしながら、パフォーマンス予測器のトレーニングは通常、数百のアーキテクチャをゼロからトレーニングし評価する必要があるため、これらの手法は高い計算コストに悩まされる。 このラインに沿った以前の作業は、主に予測器に適合するために必要なアーキテクチャの数を減らすことに重点を置いている。 本研究では,アーキテクチャトレーニングの計算予算を削減し,探索効率を向上させるという,異なる視点からこの課題に取り組む。 我々は,低パフォーマンスアーキテクチャのトレーニングを早期に終了する階層スケジューリングアルゴリズムであるnon-uniform successive halving (nosh)を提案する。 noshが生成する非一様監視信号を効果的に活用するために,予測子に基づくアーキテクチャ探索を対比較でランク付けする学習として定式化する。 その結果、RANK-NOSHは検索予算を約5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。

関連論文リスト

• Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
  我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。 我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。 CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
  論文  参考訳（メタデータ） (2023-06-23T09:57:44Z)
• AIO-P: Expanding Neural Performance Predictors Beyond Image Classification [22.743278613519152]
  アーキテクチャの例でニューラルネットワーク予測器を事前訓練するための新しいオールインワン予測器(AIO-P)を提案する。 AIO-Pは平均絶対誤差(MAE)とスピアマンランク相関(SRCC)をそれぞれ1%以下と0.5以上で達成できる。
  論文  参考訳（メタデータ） (2022-11-30T18:30:41Z)
• EmProx: Neural Network Performance Estimation For Neural Architecture Search [0.0]
  本研究では,アーキテクチャを連続的な埋め込み空間にマッピングする新しい手法であるEmProx Scoreを提案する。 次に、その性能が知られているアーキテクチャの埋め込みベクトルに基づいて、重み付けされたkNNを用いて、候補の性能を推定する。 本手法の性能評価は,NAOの精度はNAOの約9倍高速であり,NAOの性能予測値に匹敵する。
  論文  参考訳（メタデータ） (2022-06-13T08:35:52Z)
• Non-Clairvoyant Scheduling with Predictions Revisited [77.86290991564829]
  非論理的スケジューリングでは、優先度不明な処理条件でジョブをスケジューリングするためのオンライン戦略を見つけることが課題である。 我々はこのよく研究された問題を、アルゴリズム設計に(信頼できない)予測を統合する、最近人気の高い学習強化された設定で再検討する。 これらの予測には所望の特性があり, 高い性能保証を有するアルゴリズムと同様に, 自然な誤差測定が可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-21T13:18:11Z)
• How Powerful are Performance Predictors in Neural Architecture Search? [43.86743225322636]
  我々は31の手法を解析し,性能予測器の大規模研究を行った。 予測器の特定のファミリーが組み合わさることで、より優れた予測能力が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-02T17:57:16Z)
• Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets [93.79297053429447]
  既存の手法は、しばしばそれぞれの目標予算を独立したアーキテクチャで検索する。 モデル推論のみで任意の予算で効率的なアーキテクチャを自動生成する汎用アーキテクチャ生成器を提案する。 3つのプラットフォーム(モバイル、CPU、GPUなど)における広範な実験は、提案手法が既存のNAS法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-02-27T13:59:17Z)
• Multi-objective Neural Architecture Search with Almost No Training [9.93048700248444]
  本稿ではRWE(Random-Weight Evaluation)という,ネットワークアーキテクチャの性能を迅速に評価する手法を提案する。 RWEは、アーキテクチャを評価するための計算コストを数時間から秒に短縮する。 進化的多目的アルゴリズムに統合されると、RWEはCIFAR-10上で2時間以内で1枚のGPUカードを検索し、最先端の性能を持つ効率的なアーキテクチャの集合を得る。
  論文  参考訳（メタデータ） (2020-11-27T07:39:17Z)
• Evolving Search Space for Neural Architecture Search [70.71153433676024]
  最適化された検索空間サブセットを維持することにより,前回の取り組みから得られた結果を増幅するニューラルサーチ空間進化(NSE)方式を提案する。 我々は333万のFLOPでImageNet上で77.3%のトップ1リトレーニング精度を実現し、最先端の性能を得た。 遅延制約が適用された場合、我々の結果は、77.9%のTop-1再トレーニング精度を持つ、以前の最高のパフォーマンスのモバイルモデルよりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-11-22T01:11:19Z)
• Speedy Performance Estimation for Neural Architecture Search [47.683124540824515]
  そこで本研究では,トレーニング速度の簡易な測定値に基づいて最終試験性能を推定する。 我々の推定器は、一般化と学習速度の関連によって理論的に動機付けられている。
  論文  参考訳（メタデータ） (2020-06-08T11:48:09Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。