論文の概要: Speeding up NAS with Adaptive Subset Selection

• arxiv url: http://arxiv.org/abs/2211.01454v1
• Date: Wed, 2 Nov 2022 19:48:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 13:46:09.760812
• Title: Speeding up NAS with Adaptive Subset Selection
• Title（参考訳）: 適応サブセット選択によるNASの高速化
• Authors: Vishak Prasad C, Colin White, Paarth Jain, Sibasis Nayak, Ganesh Ramakrishnan
• Abstract要約: ニューラルアーキテクチャサーチ(NAS)に対する適応的サブセット選択手法を提案する。 両分野から最先端技術を利用するアルゴリズムを考案する。 結果は複数のデータセットで一致しています。
• 参考スコア（独自算出の注目度）: 21.31075249079979
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: A majority of recent developments in neural architecture search (NAS) have been aimed at decreasing the computational cost of various techniques without affecting their final performance. Towards this goal, several low-fidelity and performance prediction methods have been considered, including those that train only on subsets of the training data. In this work, we present an adaptive subset selection approach to NAS and present it as complementary to state-of-the-art NAS approaches. We uncover a natural connection between one-shot NAS algorithms and adaptive subset selection and devise an algorithm that makes use of state-of-the-art techniques from both areas. We use these techniques to substantially reduce the runtime of DARTS-PT (a leading one-shot NAS algorithm), as well as BOHB and DEHB (leading multifidelity optimization algorithms), without sacrificing accuracy. Our results are consistent across multiple datasets, and towards full reproducibility, we release our code at https: //anonymous.4open.science/r/SubsetSelection NAS-B132.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)の最近の開発の多くは、最終的な性能に影響を与えることなく、様々な手法の計算コストを下げることを目的としている。 この目標に向けて、トレーニングデータのサブセットのみをトレーニングするなど、いくつかの低忠実度およびパフォーマンス予測手法が検討されている。 本稿では,nasに対する適応的部分集合選択手法を提案し,それを最先端のnasアプローチを補完するものとして提示する。 ワンショットNASアルゴリズムとアダプティブサブセット選択との自然な関係を発見し、両方の領域から最先端技術を利用するアルゴリズムを考案する。 我々は,DARTS-PT (リードワンショットNASアルゴリズム) と BOHB と DEHB (リードマルチ忠実度最適化アルゴリズム) のランタイムを,精度を犠牲にすることなく大幅に削減する。 結果は複数のデータセットで一致しており、完全な再現性に向けて、https: //anonymous.4open.science/r/SubsetSelection NAS-B132でコードをリリースしています。

関連論文リスト

• DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
  本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。 具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。 本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。 BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
  論文  参考訳（メタデータ） (2023-05-26T13:58:18Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture Search [50.33956216274694]
  ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。 本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。 我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
  論文  参考訳（メタデータ） (2022-03-23T13:44:15Z)
• TND-NAS: Towards Non-differentiable Objectives in Progressive Differentiable NAS Framework [6.895590095853327]
  微分可能なアーキテクチャサーチは、ニューラルネットワークサーチ(NAS)分野において、徐々に主流の研究トピックになりつつある。 最近の差別化可能なNASは、検索性能の向上とGPUメモリ消費の削減も目指している。 微分可能なNASフレームワークにおける高効率と、多目的NASにおける非微分可能なメトリクス間の互換性を両立させたTND-NASを提案する。
  論文  参考訳（メタデータ） (2021-11-06T14:19:36Z)
• A Data-driven Approach to Neural Architecture Search Initialization [12.901952926144258]
  人口ベースNASアルゴリズムを初期化するためのデータ駆動手法を提案する。 ランダムおよびラテンハイパーキューブサンプリングに対する提案手法のベンチマークを行った。
  論文  参考訳（メタデータ） (2021-11-05T14:30:19Z)
• Lessons from the Clustering Analysis of a Search Space: A Centroid-based Approach to Initializing NAS [12.901952926144258]
  NASベンチマークの最近の利用により、低計算資源のプロトタイピングが可能になった。 探索空間の校正クラスタリング解析を行う。 次に、センチロイドを抽出し、NASアルゴリズムを初期化する。
  論文  参考訳（メタデータ） (2021-08-20T11:46:33Z)
• Accelerating Neural Architecture Search via Proxy Data [17.86463546971522]
  ニューラルアーキテクチャ探索(NAS)に適した新しいプロキシデータ選択法を提案する。 提案された選択でDARTSを実行するには、CIFAR-10で40分、単一のGPUでImageNetで7.5時間しかかからない。 提案した選択を用いてImageNetで検索したアーキテクチャが逆CIFAR-10に転送されると、2.4%の最先端テストエラーが生成される。
  論文  参考訳（メタデータ） (2021-06-09T03:08:53Z)
• Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery [54.60327265077322]
  スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。 本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。 本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
  論文  参考訳（メタデータ） (2020-07-07T00:57:09Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。