論文の概要: REDS: Resource-Efficient Deep Subnetworks for Dynamic Resource
Constraints
- arxiv url: http://arxiv.org/abs/2311.13349v1
- Date: Wed, 22 Nov 2023 12:34:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 15:02:27.408669
- Title: REDS: Resource-Efficient Deep Subnetworks for Dynamic Resource
Constraints
- Title(参考訳): REDS:動的資源制約のための資源効率の良いディープサブネットワーク
- Authors: Francesco Corti, Balz Maag, Joachim Schauer, Ulrich Pferschy, Olga
Saukh
- Abstract要約: 最先端の機械学習パイプラインは、実行時に適応できないリソースに依存しないモデルを生成する。
本稿では,資源効率の高いDeep Subnetworks (REDS) を導入し,変動資源へのモデル適応に取り組む。
本稿では,サブモデルのテストセット精度の観点からREDSの優れた性能を示す理論的結果と実証的証拠を提供し,40$mu$s以下の動的リソース制約に対応する適応時間を示す。
- 参考スコア(独自算出の注目度): 3.1337254158713725
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep models deployed on edge devices frequently encounter resource
variability, which arises from fluctuating energy levels, timing constraints,
or prioritization of other critical tasks within the system. State-of-the-art
machine learning pipelines generate resource-agnostic models, not capable to
adapt at runtime. In this work we introduce Resource-Efficient Deep Subnetworks
(REDS) to tackle model adaptation to variable resources. In contrast to the
state-of-the-art, REDS use structured sparsity constructively by exploiting
permutation invariance of neurons, which allows for hardware-specific
optimizations. Specifically, REDS achieve computational efficiency by (1)
skipping sequential computational blocks identified by a novel iterative
knapsack optimizer, and (2) leveraging simple math to re-arrange the order of
operations in REDS computational graph to take advantage of the data cache.
REDS support conventional deep networks frequently deployed on the edge and
provide computational benefits even for small and simple networks. We evaluate
REDS on six benchmark architectures trained on the Google Speech Commands,
FMNIST and CIFAR10 datasets, and test on four off-the-shelf mobile and embedded
hardware platforms. We provide a theoretical result and empirical evidence for
REDS outstanding performance in terms of submodels' test set accuracy, and
demonstrate an adaptation time in response to dynamic resource constraints of
under 40$\mu$s, utilizing a 2-layer fully-connected network on Arduino Nano 33
BLE Sense.
- Abstract(参考訳): エッジデバイスにデプロイされた深いモデルは、エネルギーレベルの変化、タイミングの制約、あるいはシステム内の他の重要なタスクの優先順位付けから生じるリソース変動に頻繁に遭遇する。
最先端の機械学習パイプラインは、実行時に適応できないリソースに依存しないモデルを生成する。
本稿では,資源効率の高いDeep Subnetworks (REDS)を導入し,変動資源へのモデル適応に取り組む。
最先端とは対照的に、REDSは、ハードウェア固有の最適化を可能にするニューロンの置換不変性を利用して構成的に構造化されたスパーシリティを使用する。
具体的には, (1) 反復ナップサックオプティマイザで同定された逐次計算ブロックをスキップし, (2) 単純な計算を用いてreds計算グラフの演算順序を再構成してデータキャッシュを活用することで計算効率が向上する。
redsはエッジに頻繁にデプロイされる従来のディープネットワークをサポートし、小さくてシンプルなネットワークでも計算上のメリットを提供する。
Google Speech Commands、FMNIST、CIFAR10データセットでトレーニングされた6つのベンチマークアーキテクチャ上でREDSを評価し、市販のモバイルおよび組み込みハードウェアプラットフォームでテストする。
Arduino Nano 33 BLE センス上の2層完全接続ネットワークを利用して,サブモデルテストセットの精度でREDSの優れた性能を示す理論的結果と実証的証拠を提供し,40$\mu$s以下の動的リソース制約に対応する適応時間を示す。
関連論文リスト
- Stochastic Configuration Machines: FPGA Implementation [4.57421617811378]
コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。
本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
論文 参考訳(メタデータ) (2023-10-30T02:04:20Z) - Efficient Model Adaptation for Continual Learning at the Edge [15.334881190102895]
ほとんどの機械学習(ML)システムは、トレーニングとデプロイメントの間、定常的で一致したデータ分散を前提としている。
データ分布は、環境要因、センサー特性、タスク・オブ・関心などの変化により、時間とともに変化することが多い。
本稿では,ドメインシフト下での効率的な連続学習のためのアダプタ・リコンフィグレータ(EAR)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T23:55:17Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - ENGNN: A General Edge-Update Empowered GNN Architecture for Radio
Resource Management in Wireless Networks [29.23937571816269]
鍵となる課題は、無線リソースをビームフォーミングとパワーアロケーションによって効率的に管理することである。
本稿では,GNNがノード変数とエッジ変数の両方を扱えるように,エッジ更新機構を提案する。
提案手法は平均和率が高いが,最先端の手法よりもはるかに短い時間で計算できる。
論文 参考訳(メタデータ) (2022-12-14T14:04:25Z) - DRESS: Dynamic REal-time Sparse Subnets [7.76526807772015]
我々は、新しいトレーニングアルゴリズム、Dynamic REal-time Sparse Subnets (DRESS)を提案する。
DRESSは、同じバックボーンネットワークから行ベースの非構造空間を通して複数のサブネットワークをサンプリングし、重み付けされた損失と並行してこれらのサブネットワークを共同で訓練する。
公開ビジョンデータセットの実験では、DRESSは最先端のサブネットワークよりもはるかに精度が高いことが示されている。
論文 参考訳(メタデータ) (2022-07-01T22:05:07Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳(メタデータ) (2021-03-15T12:54:26Z) - LoRD-Net: Unfolded Deep Detection Network with Low-Resolution Receivers [104.01415343139901]
本稿では,1ビット計測から情報シンボルを復元する「LoRD-Net」というディープ検出器を提案する。
LoRD-Netは、関心のシグナルを回復するためのタスクベースのアーキテクチャである。
無線通信における1ビット信号回復のためのレシーバアーキテクチャの評価を行った。
論文 参考訳(メタデータ) (2021-02-05T04:26:05Z) - Deep Learning-based Resource Allocation For Device-to-Device
Communication [66.74874646973593]
デバイス間通信(D2D)を用いたマルチチャネルセルシステムにおいて,リソース割り当ての最適化のためのフレームワークを提案する。
任意のチャネル条件に対する最適な資源配分戦略をディープニューラルネットワーク(DNN)モデルにより近似する深層学習(DL)フレームワークを提案する。
シミュレーションの結果,提案手法のリアルタイム性能を低速で実現できることが確認された。
論文 参考訳(メタデータ) (2020-11-25T14:19:23Z) - Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。
本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。
我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文 参考訳(メタデータ) (2020-04-08T10:08:20Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。