論文の概要: NACHOS: Neural Architecture Search for Hardware Constrained Early Exit Neural Networks

• arxiv url: http://arxiv.org/abs/2401.13330v1
• Date: Wed, 24 Jan 2024 09:48:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 14:53:37.652654
• Title: NACHOS: Neural Architecture Search for Hardware Constrained Early Exit Neural Networks
• Title（参考訳）: NACHOS: ハードウェア制約付き早期ニューラルネットワークのためのニューラルアーキテクチャ検索
• Authors: Matteo Gambella, Jary Pomponi, Simone Scardapane, and Manuel Roveri
• Abstract要約: Early Exit Neural Networks(EENN)は、Early Exit(EEC)を備えた非標準ディープニューラルネットワーク(DNN)を提供する 本研究は,ハードウェア制約付き早期排他ニューラルネットワーク(NACHOS)のためのニューラルアーキテクチャ探索である。 NACHOSは、推論時にEENNが実行する乗算および累積(MAC)操作の精度と数に制約を満たす最適なEENNを設計するための最初のNASフレームワークである。
• 参考スコア（独自算出の注目度）: 6.279164022876874
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Early Exit Neural Networks (EENNs) endow astandard Deep Neural Network (DNN) with Early Exit Classifiers (EECs), to provide predictions at intermediate points of the processing when enough confidence in classification is achieved. This leads to many benefits in terms of effectiveness and efficiency. Currently, the design of EENNs is carried out manually by experts, a complex and time-consuming task that requires accounting for many aspects, including the correct placement, the thresholding, and the computational overhead of the EECs. For this reason, the research is exploring the use of Neural Architecture Search (NAS) to automatize the design of EENNs. Currently, few comprehensive NAS solutions for EENNs have been proposed in the literature, and a fully automated, joint design strategy taking into consideration both the backbone and the EECs remains an open problem. To this end, this work presents Neural Architecture Search for Hardware Constrained Early Exit Neural Networks (NACHOS), the first NAS framework for the design of optimal EENNs satisfying constraints on the accuracy and the number of Multiply and Accumulate (MAC) operations performed by the EENNs at inference time. In particular, this provides the joint design of backbone and EECs to select a set of admissible (i.e., respecting the constraints) Pareto Optimal Solutions in terms of best tradeoff between the accuracy and number of MACs. The results show that the models designed by NACHOS are competitive with the state-of-the-art EENNs. Additionally, this work investigates the effectiveness of two novel regularization terms designed for the optimization of the auxiliary classifiers of the EENN
• Abstract（参考訳）: Early Exit Neural Networks (EENN) は、未標準のDeep Neural Network (DNN) をEarly Exit Classifiers (EEC) と共に提供し、分類の十分な信頼性が達成された場合の処理中間点での予測を提供する。 これは有効性と効率の点で多くの利点をもたらす。 現在、EENNの設計は専門家によって手作業で行われており、正確な配置、しきい値設定、EECの計算オーバーヘッドなど、多くの側面を考慮に入れなければならない複雑で時間を要するタスクである。 この理由から、本研究は eenn の設計を自動化するために neural architecture search (nas) の使用を検討している。 現在、EENNの包括的なNASソリューションが文献で提案されており、バックボーンとEECの両方を考慮して完全に自動化された共同設計戦略が未解決のままである。 そこで本研究では,ハードウェア制約付き早期出口ニューラルネットワーク(nachos)に対するニューラルネットワーク探索を提案する。nachosは,推定時に eenn が実行した乗算・累積演算の精度と数に制約を満たした最適な eenn の設計のための最初のnasフレームワークである。 特に、これはバックボーンとEECの結合設計を提供し、MACの精度と数との最良のトレードオフの観点から許容可能な一連の(すなわち制約を尊重する)Pareto Optimal Solutionsを選択する。 その結果,NACHOSの設計したモデルは最先端のEENNと競合していることがわかった。 さらに、EENNの補助分類器の最適化を目的とした2つの新しい正規化用語の有効性について検討する。

関連論文リスト

• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• Single Channel Speech Enhancement Using U-Net Spiking Neural Networks [2.436681150766912]
  音声強調(SE)は、信頼性の高い通信装置や頑健な音声認識システムに不可欠である。 U-Netアーキテクチャに基づくスパイキングニューラルネットワーク(SNN)を用いたSEに対する新しいアプローチを提案する。 SNNは音声などの時間次元のデータ処理に適しており、ニューロモルフィックハードウェア上でのエネルギー効率のよい実装で知られている。
  論文  参考訳（メタデータ） (2023-07-26T19:10:29Z)
• Automated Search-Space Generation Neural Architecture Search [45.902445271519596]
  ASGNASは1ショット方式で高性能サブネットワークを生成する。 ASGNASは人間の努力を最小限にするために3つの顕著な貢献をしている。 ライブラリはhttps://github.com/tianyic/tianyic/only_train_once.comでリリースされる。
  論文  参考訳（メタデータ） (2023-05-25T19:41:40Z)
• DeepAxe: A Framework for Exploration of Approximation and Reliability Trade-offs in DNN Accelerators [0.9556128246747769]
  安全クリティカルなアプリケーションにおけるディープニューラルネットワーク(DNN)の役割は拡大している。 DNNは計算能力の面で大きく成長している。 これは、DNNアクセラレーターの信頼性を向上させる必要性を高める。
  論文  参考訳（メタデータ） (2023-03-14T20:42:38Z)
• RoHNAS: A Neural Architecture Search Framework with Conjoint Optimization for Adversarial Robustness and Hardware Efficiency of Convolutional and Capsule Networks [10.946374356026679]
  RoHNASは、Deep Neural Network(DNN)の対向ロバスト性とハードウェア効率を共同で最適化する新しいフレームワークである。 探索時間を短縮するため、RoHNASはNASフローで使用するデータセット毎に、逆摂動の適切な値を分析し、選択する。
  論文  参考訳（メタデータ） (2022-10-11T09:14:56Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Towards a Design Framework for TNN-Based Neuromorphic Sensory Processing Units [2.419276285404291]
  テンポラルニューラルネットワーク(TNN)は、高エネルギー効率で脳のような感覚処理を示すニューラルネットワークをスパイクしている。 本研究は、効率的なアプリケーション固有のTNNベースのニューロモーフィックセンサ処理ユニット(NSPU)を設計するためのカスタムデザインフレームワークの開発に向けて、現在進行中の研究成果を示す。
  論文  参考訳（メタデータ） (2022-05-27T21:51:05Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• NASCaps: A Framework for Neural Architecture Search to Optimize the Accuracy and Hardware Efficiency of Convolutional Capsule Networks [10.946374356026679]
  我々は,異なるタイプのディープニューラルネットワーク(DNN)のハードウェア対応NASの自動フレームワークであるNASCapsを提案する。 多目的遺伝的アルゴリズム(NSGA-IIアルゴリズム)の展開の有効性について検討する。 我々のフレームワークは、NASフローの特別なカプセル層と動的ルーティングをモデル化し、サポートする最初のフレームワークです。
  論文  参考訳（メタデータ） (2020-08-19T14:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。