論文の概要: Speedy Performance Estimation for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2006.04492v2
• Date: Tue, 8 Jun 2021 02:41:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 00:31:52.244868
• Title: Speedy Performance Estimation for Neural Architecture Search
• Title（参考訳）: ニューラルアーキテクチャ探索のための高速性能推定
• Authors: Binxin Ru, Clare Lyle, Lisa Schut, Miroslav Fil, Mark van der Wilk and Yarin Gal
• Abstract要約: そこで本研究では,トレーニング速度の簡易な測定値に基づいて最終試験性能を推定する。 我々の推定器は、一般化と学習速度の関連によって理論的に動機付けられている。
• 参考スコア（独自算出の注目度）: 47.683124540824515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable yet efficient evaluation of generalisation performance of a proposed architecture is crucial to the success of neural architecture search (NAS). Traditional approaches face a variety of limitations: training each architecture to completion is prohibitively expensive, early stopped validation accuracy may correlate poorly with fully trained performance, and model-based estimators require large training sets. We instead propose to estimate the final test performance based on a simple measure of training speed. Our estimator is theoretically motivated by the connection between generalisation and training speed, and is also inspired by the reformulation of a PAC-Bayes bound under the Bayesian setting. Our model-free estimator is simple, efficient, and cheap to implement, and does not require hyperparameter-tuning or surrogate training before deployment. We demonstrate on various NAS search spaces that our estimator consistently outperforms other alternatives in achieving better correlation with the true test performance rankings. We further show that our estimator can be easily incorporated into both query-based and one-shot NAS methods to improve the speed or quality of the search.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)の成功には,提案アーキテクチャの一般化性能の信頼性と効率的評価が不可欠である。 従来のアプローチでは、各アーキテクチャを完成させるためのトレーニングは違法に高価であり、早期に停止したバリデーションの正確さは、完全にトレーニングされたパフォーマンスと相関しがたい。 学習速度の簡易な尺度に基づいて最終テスト性能を推定することを提案する。 我々の推定器は、一般化と訓練速度の関連から理論的に動機付けられ、ベイズ条件下でのPAC-ベイズ境界の再構成にもインスピレーションを受けている。 モデルフリーな推定器はシンプルで効率的で実装が簡単で安価であり、デプロイ前にハイパーパラメータチューニングやサロゲートトレーニングを必要としない。 各種NAS探索空間において, 推定器は, 真のテスト性能ランキングとの相関性を高めるために, 常に他の選択肢よりも優れていることを示す。 さらに,検索の速度や品質を向上させるために,クエリベースとワンショットのnasメソッドの両方に容易に組み込むことができることを示す。

関連論文リスト

• Robustifying and Boosting Training-Free Neural Architecture Search [49.828875134088904]
  本稿では,多種多様なタスクにおいて,頑健で一貫したパフォーマンスの指標を開発するために,トレーニング不要なNAS (RoBoT) アルゴリズムを提案する。 注目すべきは、我々のRoBoTの期待性能が理論的に保証され、既存のトレーニングフリーNASよりも改善されることだ。
  論文  参考訳（メタデータ） (2024-03-12T12:24:11Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• EBJR: Energy-Based Joint Reasoning for Adaptive Inference [10.447353952054492]
  最先端のディープラーニングモデルは、さまざまなベンチマークで大きなパフォーマンスレベルを達成した。 一方、軽量アーキテクチャは適度な精度を実現しますが、より望ましいレイテンシを実現しています。 本稿では,大規模高精度モデルと小型高速モデルとを併用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-10-20T02:33:31Z)
• RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving [74.61723678821049]
  予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。 予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。 その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
  論文  参考訳（メタデータ） (2021-08-18T07:45:21Z)
• AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision of Weight Sharing [6.171090327531059]
  空間から最高のアーキテクチャを選択するためのLearning to Rank手法を紹介します。 また,スーパーネットから得られた弱いラベルのアーキテクチャ表現を事前学習することで,重み共有から弱い管理を活用することを提案する。 NASベンチマークと大規模検索空間を用いた実験により,提案手法はSOTAよりも検索コストが大幅に削減された。
  論文  参考訳（メタデータ） (2021-08-06T08:31:42Z)
• SIMPLE: SIngle-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation [81.03485688525133]
  Single-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation (SIMPLE) を提案する。 具体的には、トレーニングプロセスにおいて、SIMPLEが高性能なトップダウンパイプラインからのポーズ知識を模倣できるようにする。 さらに、SIMPLEは人間検出とポーズ推定を統一的なポイントラーニングフレームワークとして定式化し、単一ネットワークで相互に補完する。
  論文  参考訳（メタデータ） (2021-04-06T13:12:51Z)
• Efficient Model Performance Estimation via Feature Histories [27.008927077173553]
  ニューラルネットワーク設計のタスクにおける重要なステップは、モデルの性能を評価することである。 この研究では、トレーニングの初期段階におけるネットワークの機能の進化履歴を使用して、プロキシ分類器を構築します。 本手法は,複数の探索アルゴリズムと組み合わせ,より幅広いタスクに対するより良い解を見つけることができることを示す。
  論文  参考訳（メタデータ） (2021-03-07T20:41:57Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。