論文の概要: UDC: Unified DNAS for Compressible TinyML Models
- arxiv url: http://arxiv.org/abs/2201.05842v1
- Date: Sat, 15 Jan 2022 12:35:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-19 16:47:01.588911
- Title: UDC: Unified DNAS for Compressible TinyML Models
- Title（参考訳）: UDC:圧縮性TinyMLモデルのための統一DNA
- Authors: Igor Fedorov, Ramon Matas, Hokchhay Tann, Chuteng Zhou, Matthew
Mattina, Paul Whatmough
- Abstract要約: この研究は、ニューラルアークシークチャサーチ(NAS)アルゴリズムを提案することにより、NPU HW能力とNNモデル設計のギャップを埋める。
CIFAR100, ImageNet, DIV2Kスーパー解像度タスク上で, 圧縮性モデル(UDC)のための統一DNASを実証した。
ImageNetでは、1.9倍、または5.76%の精度で圧縮可能なモデルが主流である。
- 参考スコア（独自算出の注目度）: 10.67922101024593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emerging Internet-of-things (IoT) applications are driving deployment of
neural networks (NNs) on heavily constrained low-cost hardware (HW) platforms,
where accuracy is typically limited by memory capacity. To address this TinyML
challenge, new HW platforms like neural processing units (NPUs) have support
for model compression, which exploits aggressive network quantization and
unstructured pruning optimizations. The combination of NPUs with HW compression
and compressible models allows more expressive models in the same memory
footprint.
However, adding optimizations for compressibility on top of conventional NN
architecture choices expands the design space across which we must make
balanced trade-offs. This work bridges the gap between NPU HW capability and NN
model design, by proposing a neural arcthiecture search (NAS) algorithm to
efficiently search a large design space, including: network depth, operator
type, layer width, bitwidth, sparsity, and more. Building on differentiable NAS
(DNAS) with several key improvements, we demonstrate Unified DNAS for
Compressible models (UDC) on CIFAR100, ImageNet, and DIV2K super resolution
tasks. On ImageNet, we find Pareto dominant compressible models, which are 1.9x
smaller or 5.76% more accurate.
- Abstract（参考訳）: 新たなIoT(Internet-of-Things)アプリケーションがニューラルネットワーク(NN)を高制約の低コストハードウェア(HW)プラットフォームに展開している。
このTinyMLの課題に対処するために、ニューラルプロセッシングユニット(NPU)のような新しいHWプラットフォームは、アグレッシブなネットワーク量子化と非構造化プルーニング最適化を利用するモデル圧縮をサポートしている。
NPUとHW圧縮と圧縮可能なモデルを組み合わせることで、同じメモリフットプリントにおけるより表現力の高いモデルが可能になる。
しかし、従来のNNアーキテクチャ選択の上に圧縮性のための最適化を追加することで、バランスの取れたトレードオフを行う必要がある設計空間が拡張される。
この研究は、NPU HW能力とNNモデル設計のギャップを埋めるために、ネットワーク深さ、演算子タイプ、層幅、ビット幅、空間幅などを含む大きな設計空間を効率的に探索するNASアルゴリズムを提案する。
CIFAR100, ImageNet, DIV2Kスーパーレゾリューションタスク上で, 識別可能なNAS (DNAS) にいくつかの改良を加え, 統一DNAS for Compressible Model (UDC) を実証した。
ImageNetでは、Paretoの圧縮可能なモデルの方が1.9倍小さく、5.76%精度が高い。
関連論文リスト
- DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-26T05:23:11Z) - Enhancing Neural Architecture Search with Multiple Hardware Constraints
for Deep Learning Model Deployment on Tiny IoT Devices [17.919425885740793]
微分可能なNAS最適化手法に複数の制約を組み込む新しい手法を提案する。
単一の検索で、それぞれ87.4%と54.2%のメモリとレイテンシを削減できることが示されている。
論文 参考訳（メタデータ） (2023-10-11T06:09:14Z) - Lightweight Neural Architecture Search for Temporal Convolutional
Networks at the Edge [21.72253397805102]
この研究は特に、時系列処理のための畳み込みモデルであるTCN(Temporal Convolutional Networks)に焦点を当てている。
我々は,TNの最も特異なアーキテクチャパラメータの最適化を明示的に目標とする最初のNASツールを提案する。
提案したNASは,音声および生体信号を含む4つの実世界のエッジ関連タスクでテストする。
論文 参考訳（メタデータ） (2023-01-24T19:47:40Z) - HQNAS: Auto CNN deployment framework for joint quantization and
architecture search [30.45926484863791]
ハードウェア対応量子化ニューラルネットワーク探索(HQNAS)と呼ばれる新しいニューラルネットワーク設計フレームワークを提案する。
CIFAR10の優れたNNポリシーを見つけるのにわずか4時間しかかからない。
また、Imagenetで同等のモデルを生成するのに10パーセントのGPU時間しかかからない。
論文 参考訳（メタデータ） (2022-10-16T08:32:18Z) - SpiderNet: Hybrid Differentiable-Evolutionary Architecture Search via
Train-Free Metrics [0.0]
ニューラルネットワーク探索(NAS)アルゴリズムは、手動ニューラルネットワーク設計の負担を取り除くことを意図している。
NASアルゴリズムは、発見できる様々なネットワークを制限する、ユーザ構成やハードコード決定の形で、さまざまな設計パラメータを必要とする。
我々は,最先端ネットワークを迅速かつ効率的に生成する,ハイブリッドな微分可能・進化型・ハードウェア対応アルゴリズムであるSpiderNetを提案する。
論文 参考訳（メタデータ） (2022-04-20T08:55:01Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - NAS-BERT: Task-Agnostic and Adaptive-Size BERT Compression with Neural
Architecture Search [100.71365025972258]
BERT圧縮の効率的な手法であるNAS-BERTを提案する。
NAS-BERTは、検索空間上で大きなスーパーネットをトレーニングし、適応的なサイズとレイテンシを持つ複数の圧縮モデルを出力する。
GLUEとSQuADベンチマークデータセットの実験は、NAS-BERTが以前のアプローチよりも高精度で軽量なモデルを見つけることができることを示した。
論文 参考訳（メタデータ） (2021-05-30T07:20:27Z) - Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。
MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。
いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
論文 参考訳（メタデータ） (2021-04-06T14:03:01Z) - Neural Architecture Search of SPD Manifold Networks [79.45110063435617]
本研究では,Symmetric Positive Definite (SPD) 多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。
まず、効率的なSPDセル設計のために、幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。
我々は、SPDニューラルアーキテクチャ探索のための緩和された連続探索空間上で微分可能なNASアルゴリズムを利用する。
論文 参考訳（メタデータ） (2020-10-27T18:08:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。