論文の概要: HW-NAS-Bench:Hardware-Aware Neural Architecture Search Benchmark
- arxiv url: http://arxiv.org/abs/2103.10584v2
- Date: Fri, 28 Mar 2025 00:06:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 14:28:47.593365
- Title: HW-NAS-Bench:Hardware-Aware Neural Architecture Search Benchmark
- Title（参考訳）: HW-NAS-Bench:ハードウェア対応ニューラルアーキテクチャサーチベンチマーク
- Authors: Chaojian Li, Zhongzhi Yu, Yonggan Fu, Yongan Zhang, Yang Zhao, Haoran You, Qixuan Yu, Yue Wang, Yingyan Celine Lin,
- Abstract要約: 我々は,HW-NAS研究のための最初の公開データセットであるHW-NAS-Benchを開発した。
HW-NAS-Benchは、HW-NAS研究を非ハードウェア専門家に民主化することを目的としている。
- 参考スコア（独自算出の注目度）: 28.771758578516444
- License:
- Abstract: HardWare-aware Neural Architecture Search (HW-NAS) has recently gained tremendous attention by automating the design of DNNs deployed in more resource-constrained daily life devices. Despite its promising performance, developing optimal HW-NAS solutions can be prohibitively challenging as it requires cross-disciplinary knowledge in the algorithm, micro-architecture, and device-specific compilation. First, to determine the hardware-cost to be incorporated into the NAS process, existing works mostly adopt either pre-collected hardware-cost look-up tables or device-specific hardware-cost models. Both of them limit the development of HW-NAS innovations and impose a barrier-to-entry to non-hardware experts. Second, similar to generic NAS, it can be notoriously difficult to benchmark HW-NAS algorithms due to their significant required computational resources and the differences in adopted search spaces, hyperparameters, and hardware devices. To this end, we develop HW-NAS-Bench, the first public dataset for HW-NAS research which aims to democratize HW-NAS research to non-hardware experts and make HW-NAS research more reproducible and accessible. To design HW-NAS-Bench, we carefully collected the measured/estimated hardware performance of all the networks in the search spaces of both NAS-Bench-201 and FBNet, on six hardware devices that fall into three categories (i.e., commercial edge devices, FPGA, and ASIC). Furthermore, we provide a comprehensive analysis of the collected measurements in HW-NAS-Bench to provide insights for HW-NAS research. Finally, we demonstrate exemplary user cases to (1) show that HW-NAS-Bench allows non-hardware experts to perform HW-NAS by simply querying it and (2) verify that dedicated device-specific HW-NAS can indeed lead to optimal accuracy-cost trade-offs. The codes and all collected data are available at https://github.com/RICE-EIC/HW-NAS-Bench.
- Abstract（参考訳）: HardWare-aware Neural Architecture Search (HW-NAS)は、リソースに制約のある日常的なデバイスにデプロイされるDNNの設計を自動化することで、最近大きな注目を集めている。
期待できる性能にもかかわらず、最適なHW-NASソリューションを開発することは、アルゴリズム、マイクロアーキテクチャ、デバイス固有のコンパイルにおいて、学際的な知識を必要とするため、非常に難しい。
まず、NASプロセスに組み込むハードウェアコストを決定するために、既存の作業は、コンパイル済みのハードウェアコストルックアップテーブルまたはデバイス固有のハードウェアコストモデルを採用する。
どちらもHW-NASのイノベーションを制限し、非ハードウェアの専門家に障壁を課している。
第二に、一般的なNASと同様、重要な計算資源と、採用されている検索空間、ハイパーパラメータ、ハードウェアデバイスの違いのために、HW-NASアルゴリズムのベンチマークが難しいことが知られている。
この目的のために,HW-NAS研究のための最初の公開データセットであるHW-NAS-Benchを開発した。
HW-NAS-Benchを設計するために,NAS-Bench-201とFBNetの検索空間における全ネットワークのハードウェア性能を,商用エッジデバイス,FPGA,ASICの6つのカテゴリに分類した。
さらに,HW-NAS-Benchの測定結果を総合的に分析し,HW-NAS研究の知見を提供する。
最後に、(1)HW-NAS-Benchは、ハードウェアの専門家が単にクエリをするだけでHW-NASを実行できることを示し、(2)専用デバイス固有のHW-NASが、正しい精度とコストのトレードオフにつながることを実証する。
コードと収集されたデータはhttps://github.com/RICE-EIC/HW-NAS-Bench.comで公開されている。
関連論文リスト
- Accel-NASBench: Sustainable Benchmarking for Accelerator-Aware NAS [3.598880812393792]
本稿では,ベンチマーク構築のコストをかなりのマージンで削減する,訓練プロキシの検索を可能にする手法を提案する。
ベンチマークは正確で,最先端のハードウェア対応モデルをコストゼロで検索できることを示す。
論文 参考訳（メタデータ） (2024-04-09T06:23:41Z) - UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。
これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。
NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
論文 参考訳（メタデータ） (2022-05-04T16:30:26Z) - When NAS Meets Trees: An Efficient Algorithm for Neural Architecture
Search [117.89827740405694]
ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。
少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。
TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
論文 参考訳（メタデータ） (2022-04-11T07:34:21Z) - NAS-Bench-Suite: NAS Evaluation is (Now) Surprisingly Easy [37.72015163462501]
本稿では,一般的なNASアルゴリズムの詳細な解析と,検索空間とデータセットの25種類の組み合わせによる性能予測手法を提案する。
我々はNASベンチマークの包括的なコレクションであるNAS-Bench-Suiteを紹介する。
論文 参考訳（メタデータ） (2022-01-31T18:02:09Z) - NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。
我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
論文 参考訳（メタデータ） (2021-10-12T01:13:18Z) - TransNAS-Bench-101: Improving Transferability and Generalizability of
Cross-Task Neural Architecture Search [98.22779489340869]
本研究では、7つの視覚タスクにわたるネットワーク性能を含むベンチマークデータセットであるTransNAS-Bench-101を提案する。
セルレベルの検索空間とマクロレベルの検索空間という,基本的に異なるタイプの検索空間を探索する。
7つのタスクで7,352のバックボーンが評価され、詳細なトレーニング情報を備えた51,464のトレーニングモデルが提供される。
論文 参考訳（メタデータ） (2021-05-25T12:15:21Z) - A Comprehensive Survey on Hardware-Aware Neural Architecture Search [6.23453131728063]
ニューラルアーキテクチャ検索(NAS)メソッドは人気が高まっています。
NASはここ数年で広範囲に研究されている。
実世界の問題にNASを適用することは依然として大きな課題であり、広く実用的ではない。
人気が高まっている1つのソリューションは、実行遅延、エネルギー消費、メモリフットプリントなどを考慮して、NAS検索戦略で多目的最適化アルゴリズムを使用することである。
ハードウェア認識NAS(HW-NAS)と呼ばれるこの種のNASは、最も効率的なアーキテクチャの検索をより複雑にし、いくつかの質問を開く。
論文 参考訳（メタデータ） (2021-01-22T21:13:46Z) - Efficient Neural Architecture Search for End-to-end Speech Recognition
via Straight-Through Gradients [17.501966450686282]
そこで我々は,ST-NASと呼ばれるStraight-Through(ST)勾配を用いた効率的なニューラルネットワーク探索法を開発した。
広くベンチマークされた80時間のWSJと300時間のSwitchboardデータセットに対する実験は、ST-NASによって誘導されるアーキテクチャが、2つのデータセットで設計されたアーキテクチャを大幅に上回っていることを示している。
また,ST-NASのアーキテクチャ伝達性やメモリおよび時間における計算コストの低減といった強度についても報告する。
論文 参考訳（メタデータ） (2020-11-11T09:18:58Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z) - DSNAS: Direct Neural Architecture Search without Parameter Retraining [112.02966105995641]
この観測に基づいて,タスク固有のエンドツーエンドであるNASの新たな問題定義を提案する。
低バイアスモンテカルロ推定でアーキテクチャとパラメータを同時に最適化する効率的な微分可能なNASフレームワークであるDSNASを提案する。
DSNASは、420GPU時間でImageNetで同等の精度(74.4%)のネットワークを発見し、総時間を34%以上削減した。
論文 参考訳（メタデータ） (2020-02-21T04:41:47Z) - NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture
Search [55.12928953187342]
我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。
NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。
我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
論文 参考訳（メタデータ） (2020-01-02T05:28:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。