論文の概要: Accel-NASBench: Sustainable Benchmarking for Accelerator-Aware NAS

• arxiv url: http://arxiv.org/abs/2404.08005v2
• Date: Tue, 18 Jun 2024 05:51:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 01:55:10.247362
• Title: Accel-NASBench: Sustainable Benchmarking for Accelerator-Aware NAS
• Title（参考訳）: Accel-NASBench: Accelerator-Aware NASのための持続可能なベンチマーク
• Authors: Afzal Ahmad, Linfeng Du, Zhiyao Xie, Wei Zhang,
• Abstract要約: 本稿では,ベンチマーク構築のコストをかなりのマージンで削減する,訓練プロキシの検索を可能にする手法を提案する。 ベンチマークは正確で,最先端のハードウェア対応モデルをコストゼロで検索できることを示す。
• 参考スコア（独自算出の注目度）: 3.598880812393792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the primary challenges impeding the progress of Neural Architecture Search (NAS) is its extensive reliance on exorbitant computational resources. NAS benchmarks aim to simulate runs of NAS experiments at zero cost, remediating the need for extensive compute. However, existing NAS benchmarks use synthetic datasets and model proxies that make simplified assumptions about the characteristics of these datasets and models, leading to unrealistic evaluations. We present a technique that allows searching for training proxies that reduce the cost of benchmark construction by significant margins, making it possible to construct realistic NAS benchmarks for large-scale datasets. Using this technique, we construct an open-source bi-objective NAS benchmark for the ImageNet2012 dataset combined with the on-device performance of accelerators, including GPUs, TPUs, and FPGAs. Through extensive experimentation with various NAS optimizers and hardware platforms, we show that the benchmark is accurate and allows searching for state-of-the-art hardware-aware models at zero cost.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)の進歩を妨げる主な課題の1つは、外部の計算資源に依存することである。 NASベンチマークは、NAS実験の実行をゼロコストでシミュレートすることを目的としており、広範な計算の必要性を再考している。 しかし、既存のNASベンチマークでは、合成データセットとモデルプロキシを使用して、これらのデータセットとモデルの特徴に関する仮定を単純化し、非現実的な評価につながっている。 本研究では,ベンチマーク構築コストを大幅に削減し,大規模データセットを対象とした現実的なNASベンチマーク構築を可能にする手法を提案する。 この手法を用いて、ImageNet2012データセットのためのオープンソースの双方向NASベンチマークを構築し、GPU、TPU、FPGAなどのアクセラレータのオンデバイス性能と組み合わせる。 各種NASオプティマイザとハードウェアプラットフォームによる広範な実験により,ベンチマークは正確であり,最先端のハードウェア対応モデルをコストゼロで検索できることを示した。

関連論文リスト

• SiGeo: Sub-One-Shot NAS via Information Theory and Geometry of Loss Landscape [14.550053893504764]
  ゼロショットとワンショットNASの間のブリッジとして機能する"サブワンショット"パラダイムを導入する。 サブワンショットNASでは、スーパーネットはトレーニングデータの小さなサブセットのみを使用してトレーニングされる。 提案するプロキシは,スーパーネットウォームアップとプロキシの有効性を結びつける,新しい理論フレームワーク上に構築されたプロキシである。
  論文  参考訳（メタデータ） (2023-11-22T05:25:24Z)
• DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
  本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。 具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。 本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。 BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
  論文  参考訳（メタデータ） (2023-05-26T13:58:18Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture Search [50.33956216274694]
  ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。 本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。 我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
  論文  参考訳（メタデータ） (2022-03-23T13:44:15Z)
• NAS-Bench-Suite: NAS Evaluation is (Now) Surprisingly Easy [37.72015163462501]
  本稿では,一般的なNASアルゴリズムの詳細な解析と,検索空間とデータセットの25種類の組み合わせによる性能予測手法を提案する。 我々はNASベンチマークの包括的なコレクションであるNAS-Bench-Suiteを紹介する。
  論文  参考訳（メタデータ） (2022-01-31T18:02:09Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• NAS-HPO-Bench-II: A Benchmark Dataset on Joint Optimization of Convolutional Neural Network Architecture and Training Hyperparameters [4.039245878626346]
  本稿ではNAS-HPO-Bench-IIと呼ぶ,ネットワーク接続の協調最適化とハイパーパラメータのトレーニングのためのベンチマークデータセットを提案する。 CIFAR-10データセットでトレーニングされた4Kセルベースの畳み込みニューラルネットワークアーキテクチャのパフォーマンスデータを,学習率とバッチサイズの設定で収集する。 我々は200エポックトレーニング後の精度を予測するサロゲートモデルを構築し、より長いトレーニングエポックのパフォーマンスデータを提供する。
  論文  参考訳（メタデータ） (2021-10-19T18:00:01Z)
• AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment [23.988393741948485]
  ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。 アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。 NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
  論文  参考訳（メタデータ） (2020-12-11T05:45:03Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• BRP-NAS: Prediction-based NAS using GCNs [21.765796576990137]
  BRP-NASは、グラフ畳み込みネットワーク(GCN)に基づく正確な性能予測によって実現された効率的なハードウェア対応NASである 提案手法はNAS-Bench-101とNAS-Bench-201の先行手法よりも優れていることを示す。 また、幅広いデバイスで動作するNAS-Bench-201モデルのレイテンシデータセットであるLatBenchもリリースしました。
  論文  参考訳（メタデータ） (2020-07-16T21:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。