論文の概要: A Comprehensive Survey on Hardware-Aware Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2101.09336v1
- Date: Fri, 22 Jan 2021 21:13:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-20 17:14:54.267537
- Title: A Comprehensive Survey on Hardware-Aware Neural Architecture Search
- Title（参考訳）: ハードウェアアウェアニューラルアーキテクチャ探索に関する包括的調査
- Authors: Hadjer Benmeziane, Kaoutar El Maghraoui, Hamza Ouarnoughi, Smail Niar,
Martin Wistuba, Naigang Wang
- Abstract要約: ニューラルアーキテクチャ検索(NAS)メソッドは人気が高まっています。
NASはここ数年で広範囲に研究されている。
実世界の問題にNASを適用することは依然として大きな課題であり、広く実用的ではない。
人気が高まっている1つのソリューションは、実行遅延、エネルギー消費、メモリフットプリントなどを考慮して、NAS検索戦略で多目的最適化アルゴリズムを使用することである。
ハードウェア認識NAS(HW-NAS)と呼ばれるこの種のNASは、最も効率的なアーキテクチャの検索をより複雑にし、いくつかの質問を開く。
- 参考スコア（独自算出の注目度）: 6.23453131728063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Architecture Search (NAS) methods have been growing in popularity.
These techniques have been fundamental to automate and speed up the time
consuming and error-prone process of synthesizing novel Deep Learning (DL)
architectures. NAS has been extensively studied in the past few years. Arguably
their most significant impact has been in image classification and object
detection tasks where the state of the art results have been obtained. Despite
the significant success achieved to date, applying NAS to real-world problems
still poses significant challenges and is not widely practical. In general, the
synthesized Convolution Neural Network (CNN) architectures are too complex to
be deployed in resource-limited platforms, such as IoT, mobile, and embedded
systems. One solution growing in popularity is to use multi-objective
optimization algorithms in the NAS search strategy by taking into account
execution latency, energy consumption, memory footprint, etc. This kind of NAS,
called hardware-aware NAS (HW-NAS), makes searching the most efficient
architecture more complicated and opens several questions.
In this survey, we provide a detailed review of existing HW-NAS research and
categorize them according to four key dimensions: the search space, the search
strategy, the acceleration technique, and the hardware cost estimation
strategies. We further discuss the challenges and limitations of existing
approaches and potential future directions. This is the first survey paper
focusing on hardware-aware NAS. We hope it serves as a valuable reference for
the various techniques and algorithms discussed and paves the road for future
research towards hardware-aware NAS.
- Abstract（参考訳）: neural architecture search (nas) メソッドの人気が高まっている。
これらの技術は、新しいディープラーニング(DL)アーキテクチャを合成する時間とエラーが発生しやすいプロセスの自動化と高速化に基礎を置いている。
NASは近年広く研究されている。
彼らの最も大きな影響は、画像の分類と、アート結果が得られたオブジェクト検出タスクである。
これまでに達成された大きな成功にもかかわらず、NASを現実世界の問題に適用することは依然として重大な課題であり、広く実用的ではない。
一般的に、合成畳み込みニューラルネットワーク(CNN)アーキテクチャは複雑すぎて、IoTやモバイル、組み込みシステムといったリソース制限のプラットフォームにデプロイできない。
人気が高まっている1つのソリューションは、実行遅延、エネルギー消費、メモリフットプリントなどを考慮して、NAS検索戦略で多目的最適化アルゴリズムを使用することである。
ハードウェア対応NAS(HW-NAS)と呼ばれるこの種のNASは、最も効率的なアーキテクチャの探索をより複雑にし、いくつかの疑問を提起する。
本調査では,既存のHW-NAS研究を詳細にレビューし,検索空間,探索戦略,高速化手法,ハードウェアコスト推定戦略の4つの重要な側面に分類する。
さらに,既存アプローチの課題と限界,今後の方向性についても論じる。
これはハードウェア対応NASに焦点を当てた最初の調査論文である。
ハードウェアを意識したNASに向けた今後の研究への道のりを、様々な技術やアルゴリズムの参考にしたい。
関連論文リスト
- Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。
類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
論文 参考訳（メタデータ） (2024-11-21T02:43:32Z) - DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。
これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。
NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
論文 参考訳（メタデータ） (2022-05-04T16:30:26Z) - Meta-Learning of NAS for Few-shot Learning in Medical Image Applications [10.666687733540668]
ニューラルアーキテクチャサーチ(NAS)は医療画像の様々な応用を動機付けている。
NASは、大量の注釈付きデータ、かなりのリソース、事前定義されたタスクの可用性を必要とする。
分類,セグメンテーション,検出,再構成などの様々な応用を応用した医用画像におけるNASアプローチについて紹介する。
論文 参考訳（メタデータ） (2022-03-16T21:21:51Z) - NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。
我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
論文 参考訳（メタデータ） (2021-10-12T01:13:18Z) - TransNAS-Bench-101: Improving Transferability and Generalizability of
Cross-Task Neural Architecture Search [98.22779489340869]
本研究では、7つの視覚タスクにわたるネットワーク性能を含むベンチマークデータセットであるTransNAS-Bench-101を提案する。
セルレベルの検索空間とマクロレベルの検索空間という,基本的に異なるタイプの検索空間を探索する。
7つのタスクで7,352のバックボーンが評価され、詳細なトレーニング情報を備えた51,464のトレーニングモデルが提供される。
論文 参考訳（メタデータ） (2021-05-25T12:15:21Z) - AdvantageNAS: Efficient Neural Architecture Search with Credit
Assignment [23.988393741948485]
ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。
アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。
NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
論文 参考訳（メタデータ） (2020-12-11T05:45:03Z) - Revisiting Neural Architecture Search [0.0]
我々は、人間の努力を伴わずに完全なニューラルネットワークを探索する新しいアプローチを提案し、AutoML-nirvanaに一歩近づいた。
提案手法は,ニューラルネットワークにマッピングされた完全なグラフから始まり,探索空間の探索と利用のバランスをとることにより,接続と操作を探索する。
論文 参考訳（メタデータ） (2020-10-12T13:57:30Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z) - A Comprehensive Survey of Neural Architecture Search: Challenges and
Solutions [48.76705090826339]
ニューラルネットワーク探索(NAS)は革命的アルゴリズムであり、関連する研究は複雑でリッチである。
まず、初期のNASアルゴリズムの特徴の概要から始め、これらの初期のNASアルゴリズムの問題を要約する。
さらに,これらの研究の詳細な分析,比較,要約を行う。
論文 参考訳（メタデータ） (2020-06-01T13:08:03Z) - NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture
Search [55.12928953187342]
我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。
NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。
我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
論文 参考訳（メタデータ） (2020-01-02T05:28:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。