論文の概要: Multi-Predict: Few Shot Predictors For Efficient Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2306.02459v1
• Date: Sun, 4 Jun 2023 20:22:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 17:49:55.520062
• Title: Multi-Predict: Few Shot Predictors For Efficient Neural Architecture Search
• Title（参考訳）: マルチ予測:効率的なニューラルネットワーク検索のためのショット予測器
• Authors: Yash Akhauri, Mohamed S. Abdelfattah
• Abstract要約: 本研究では,複数のタスクやNAS検索空間上でのサンプル効率の予測を実現するため,ゼロコストプロキシに基づく新しい検索空間独立NN符号化を提案する。 NN符号化により,NASBench-201からFBNetへ85HW以下の遅延予測器のマルチ検索空間転送が可能となった。
• 参考スコア（独自算出の注目度）: 10.538869116366415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many hardware-aware neural architecture search (NAS) methods have been developed to optimize the topology of neural networks (NN) with the joint objectives of higher accuracy and lower latency. Recently, both accuracy and latency predictors have been used in NAS with great success, achieving high sample efficiency and accurate modeling of hardware (HW) device latency respectively. However, a new accuracy predictor needs to be trained for every new NAS search space or NN task, and a new latency predictor needs to be additionally trained for every new HW device. In this paper, we explore methods to enable multi-task, multi-search-space, and multi-HW adaptation of accuracy and latency predictors to reduce the cost of NAS. We introduce a novel search-space independent NN encoding based on zero-cost proxies that achieves sample-efficient prediction on multiple tasks and NAS search spaces, improving the end-to-end sample efficiency of latency and accuracy predictors by over an order of magnitude in multiple scenarios. For example, our NN encoding enables multi-search-space transfer of latency predictors from NASBench-201 to FBNet (and vice-versa) in under 85 HW measurements, a 400$\times$ improvement in sample efficiency compared to a recent meta-learning approach. Our method also improves the total sample efficiency of accuracy predictors by over an order of magnitude. Finally, we demonstrate the effectiveness of our method for multi-search-space and multi-task accuracy prediction on 28 NAS search spaces and tasks.
• Abstract（参考訳）: ニューラルネットワーク(nn)のトポロジを高い精度と低いレイテンシで最適化するために,ハードウェア対応ニューラルネットワーク検索(nas)法が数多く開発されている。 近年,NASにおいて,ハードウェア(HW)デバイス遅延の高精度なモデリングと高効率化を実現し,遅延予測と精度の両面で大きな成功を収めている。 しかし、新しいnas検索スペースやnnタスク毎に新しい精度予測器をトレーニングし、新しいhwデバイス毎に新しいレイテンシ予測器を付加的にトレーニングする必要がある。 本論文では,NASのコスト削減のために,マルチタスク,マルチ検索空間,および精度と遅延予測器のマルチHW適応を実現する方法を検討する。 複数のタスクやNAS検索空間上でサンプル効率の予測を行うゼロコストプロキシに基づく新しい検索空間独立NN符号化を導入し、複数のシナリオにおいて桁違いの精度でレイテンシと精度予測器のエンドツーエンドのサンプル効率を改善する。 例えば、当社のnnエンコーディングは、85hw以下の測定値において、nasbench-201からfbnet(および逆)へのレイテンシ予測器のマルチ検索空間転送を可能にします。 また,精度予測器の総サンプル効率を1桁以上向上させた。 最後に,28個のNAS探索空間とタスクに対して,マルチ検索空間とマルチタスクの精度予測の有効性を示す。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• On Latency Predictors for Neural Architecture Search [8.564763702766776]
  本稿では,ハードウェア・デバイス・セットの自動分割による遅延予測タスクの包括的スイートについて紹介する。 次に,(1)予測器アーキテクチャ,(2)NNサンプル選択方法,(3)ハードウェアデバイス表現,(4)NN動作符号化方式を総合的に研究するために,一般遅延予測器を設計する。 本稿では,本研究の結論に基づいて,エンドツーエンドの遅延予測学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-04T19:59:32Z)
• IQNAS: Interpretable Integer Quadratic Programming Neural Architecture Search [40.77061519007659]
  適合ネットワークを見つけるための一般的なアプローチは、制約付きニューラルネットワークサーチ(NAS)である。 従来はネットワークの精度に複雑な予測器を使用していた。 IQNAS (Interpretable Quadratic Programming Neural Architecture Search) を導入する。
  論文  参考訳（メタデータ） (2021-10-24T09:45:00Z)
• Efficient Sampling for Predictor-Based Neural Architecture Search [3.287802528135173]
  ニューラルネットワーク探索のための予測器に基づくNASアルゴリズムについて検討する。 探索空間のサブセットに対してのみプロキシが計算されると,予測アルゴリズムのサンプル効率が劇的に低下することを示す。 これは、実際に予測器ベースのNASアルゴリズムを有用にするための重要なステップである。
  論文  参考訳（メタデータ） (2020-11-24T11:36:36Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• BRP-NAS: Prediction-based NAS using GCNs [21.765796576990137]
  BRP-NASは、グラフ畳み込みネットワーク(GCN)に基づく正確な性能予測によって実現された効率的なハードウェア対応NASである 提案手法はNAS-Bench-101とNAS-Bench-201の先行手法よりも優れていることを示す。 また、幅広いデバイスで動作するNAS-Bench-201モデルのレイテンシデータセットであるLatBenchもリリースしました。
  論文  参考訳（メタデータ） (2020-07-16T21:58:43Z)
• Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
  精度予測に非神経モデルを用いる別の手法について検討する。 我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。 NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
  論文  参考訳（メタデータ） (2020-07-09T13:28:49Z)
• APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
  本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。 ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。 同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
  論文  参考訳（メタデータ） (2020-06-15T16:09:17Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。