論文の概要: Multi-Complexity-Loss DNAS for Energy-Efficient and Memory-Constrained Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2206.00302v1
• Date: Wed, 1 Jun 2022 08:04:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 00:20:40.045042
• Title: Multi-Complexity-Loss DNAS for Energy-Efficient and Memory-Constrained Deep Neural Networks
• Title（参考訳）: エネルギー効率・メモリ制約型ディープニューラルネットワークのためのマルチ複雑ロスDNA
• Authors: Matteo Risso, Alessio Burrello, Luca Benini, Enrico Macii, Massimo Poncino, Daniele Jahier Pagliari
• Abstract要約: エネルギーとメモリは、特に低コストで微分可能な(DNAS)ソリューションによって同時に考えることは滅多にない。 設計者の視点から最も現実的なシナリオに対処する最初のDNASを提案する。 我々のネットワークは、同じメモリ制約に対するエネルギー消費の2.18倍、精度の4.04%の範囲に及び、ベースラインに対して無視できる精度の低下でエネルギーを2.2倍まで削減する。
• 参考スコア（独自算出の注目度）: 22.40937602825472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Architecture Search (NAS) is increasingly popular to automatically explore the accuracy versus computational complexity trade-off of Deep Learning (DL) architectures. When targeting tiny edge devices, the main challenge for DL deployment is matching the tight memory constraints, hence most NAS algorithms consider model size as the complexity metric. Other methods reduce the energy or latency of DL models by trading off accuracy and number of inference operations. Energy and memory are rarely considered simultaneously, in particular by low-search-cost Differentiable NAS (DNAS) solutions. We overcome this limitation proposing the first DNAS that directly addresses the most realistic scenario from a designer's perspective: the co-optimization of accuracy and energy (or latency) under a memory constraint, determined by the target HW. We do so by combining two complexity-dependent loss functions during training, with independent strength. Testing on three edge-relevant tasks from the MLPerf Tiny benchmark suite, we obtain rich Pareto sets of architectures in the energy vs. accuracy space, with memory footprints constraints spanning from 75% to 6.25% of the baseline networks. When deployed on a commercial edge device, the STM NUCLEO-H743ZI2, our networks span a range of 2.18x in energy consumption and 4.04% in accuracy for the same memory constraint, and reduce energy by up to 2.2x with negligible accuracy drop with respect to the baseline.
• Abstract（参考訳）: neural architecture search(nas)は、ディープラーニング(dl)アーキテクチャの精度と計算複雑性のトレードオフを自動的に探求するために、ますます人気を集めている。 小さなエッジデバイスをターゲットとする場合、DLデプロイメントの最大の課題は、厳密なメモリ制約にマッチするため、ほとんどのNASアルゴリズムは、モデルサイズを複雑さの指標とみなす。 その他の方法は、精度と推論操作数をトレードオフすることで、DLモデルのエネルギーまたは遅延を低減する。 エネルギーとメモリは、特に低コストで微分可能なNAS(DNAS)ソリューションによって同時に考慮されることは滅多にない。 我々は、設計者の視点から最も現実的なシナリオに直接対処する最初のDNAS、すなわち、ターゲットHWによって決定されるメモリ制約の下での精度とエネルギー(または遅延)の共最適化を提案するこの制限を克服する。 私たちは、トレーニング中に2つの複雑性依存損失関数と独立強度を組み合わせることでそれを実現します。 MLPerf Tinyベンチマークスイートから3つのエッジ関連タスクをテストし、ベースラインネットワークの75%から6.25%のメモリフットプリント制約で、エネルギー対精度空間における豊富なParetoアーキテクチャセットを得る。 商用エッジデバイスであるSTM NUCLEO-H743ZI2にデプロイすると、我々のネットワークは、同じメモリ制約に対して2.18倍のエネルギー消費と4.04%の精度を有し、ベースラインに対して無視できる精度で2.2倍までエネルギーを削減できる。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Enhancing Neural Architecture Search with Multiple Hardware Constraints for Deep Learning Model Deployment on Tiny IoT Devices [17.919425885740793]
  微分可能なNAS最適化手法に複数の制約を組み込む新しい手法を提案する。 単一の検索で、それぞれ87.4%と54.2%のメモリとレイテンシを削減できることが示されている。
  論文  参考訳（メタデータ） (2023-10-11T06:09:14Z)
• Lightweight Neural Architecture Search for Temporal Convolutional Networks at the Edge [21.72253397805102]
  この研究は特に、時系列処理のための畳み込みモデルであるTCN(Temporal Convolutional Networks)に焦点を当てている。 我々は,TNの最も特異なアーキテクチャパラメータの最適化を明示的に目標とする最初のNASツールを提案する。 提案したNASは,音声および生体信号を含む4つの実世界のエッジ関連タスクでテストする。
  論文  参考訳（メタデータ） (2023-01-24T19:47:40Z)
• Channel-wise Mixed-precision Assignment for DNN Inference on Constrained Edge Nodes [22.40937602825472]
  最先端の混合精度は階層的に作用する、すなわち、各ネットワーク層の重みとアクティベーションのテンソルに異なるビット幅を使用する。 本研究では,各重みテンソルチャネルのビット幅を独立に選択する新しいNASを提案する。 我々のネットワークは、それぞれ最大63%と27%のメモリとエネルギーを削減します。
  論文  参考訳（メタデータ） (2022-06-17T15:51:49Z)
• UDC: Unified DNAS for Compressible TinyML Models [10.67922101024593]
  この研究は、ニューラルアークシークチャサーチ(NAS)アルゴリズムを提案することにより、NPU HW能力とNNモデル設計のギャップを埋める。 CIFAR100, ImageNet, DIV2Kスーパー解像度タスク上で, 圧縮性モデル(UDC)のための統一DNASを実証した。 ImageNetでは、1.9倍、または5.76%の精度で圧縮可能なモデルが主流である。
  論文  参考訳（メタデータ） (2022-01-15T12:35:26Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Neural Architecture Search for Efficient Uncalibrated Deep Photometric Stereo [105.05232615226602]
  差別化可能なニューラルアーキテクチャサーチ(NAS)戦略を利用して、非校正型PSアーキテクチャを自動的に見つける。 DiLiGenTデータセットの実験では、自動検索されたニューラルネットワークのパフォーマンスが、最先端の未校正PSメソッドと好適に比較されている。
  論文  参考訳（メタデータ） (2021-10-11T21:22:17Z)
• NAS-BERT: Task-Agnostic and Adaptive-Size BERT Compression with Neural Architecture Search [100.71365025972258]
  BERT圧縮の効率的な手法であるNAS-BERTを提案する。 NAS-BERTは、検索空間上で大きなスーパーネットをトレーニングし、適応的なサイズとレイテンシを持つ複数の圧縮モデルを出力する。 GLUEとSQuADベンチマークデータセットの実験は、NAS-BERTが以前のアプローチよりも高精度で軽量なモデルを見つけることができることを示した。
  論文  参考訳（メタデータ） (2021-05-30T07:20:27Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。