論文の概要: REDS: Resource-Efficient Deep Subnetworks for Dynamic Resource Constraints

• arxiv url: http://arxiv.org/abs/2311.13349v1
• Date: Wed, 22 Nov 2023 12:34:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 15:02:27.408669
• Title: REDS: Resource-Efficient Deep Subnetworks for Dynamic Resource Constraints
• Title（参考訳）: REDS:動的資源制約のための資源効率の良いディープサブネットワーク
• Authors: Francesco Corti, Balz Maag, Joachim Schauer, Ulrich Pferschy, Olga Saukh
• Abstract要約: 最先端の機械学習パイプラインは、実行時に適応できないリソースに依存しないモデルを生成する。 本稿では,資源効率の高いDeep Subnetworks (REDS) を導入し,変動資源へのモデル適応に取り組む。 本稿では,サブモデルのテストセット精度の観点からREDSの優れた性能を示す理論的結果と実証的証拠を提供し,40$mu$s以下の動的リソース制約に対応する適応時間を示す。
• 参考スコア（独自算出の注目度）: 3.1337254158713725
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep models deployed on edge devices frequently encounter resource variability, which arises from fluctuating energy levels, timing constraints, or prioritization of other critical tasks within the system. State-of-the-art machine learning pipelines generate resource-agnostic models, not capable to adapt at runtime. In this work we introduce Resource-Efficient Deep Subnetworks (REDS) to tackle model adaptation to variable resources. In contrast to the state-of-the-art, REDS use structured sparsity constructively by exploiting permutation invariance of neurons, which allows for hardware-specific optimizations. Specifically, REDS achieve computational efficiency by (1) skipping sequential computational blocks identified by a novel iterative knapsack optimizer, and (2) leveraging simple math to re-arrange the order of operations in REDS computational graph to take advantage of the data cache. REDS support conventional deep networks frequently deployed on the edge and provide computational benefits even for small and simple networks. We evaluate REDS on six benchmark architectures trained on the Google Speech Commands, FMNIST and CIFAR10 datasets, and test on four off-the-shelf mobile and embedded hardware platforms. We provide a theoretical result and empirical evidence for REDS outstanding performance in terms of submodels' test set accuracy, and demonstrate an adaptation time in response to dynamic resource constraints of under 40$\mu$s, utilizing a 2-layer fully-connected network on Arduino Nano 33 BLE Sense.
• Abstract（参考訳）: エッジデバイスにデプロイされた深いモデルは、エネルギーレベルの変化、タイミングの制約、あるいはシステム内の他の重要なタスクの優先順位付けから生じるリソース変動に頻繁に遭遇する。 最先端の機械学習パイプラインは、実行時に適応できないリソースに依存しないモデルを生成する。 本稿では,資源効率の高いDeep Subnetworks (REDS)を導入し,変動資源へのモデル適応に取り組む。 最先端とは対照的に、REDSは、ハードウェア固有の最適化を可能にするニューロンの置換不変性を利用して構成的に構造化されたスパーシリティを使用する。 具体的には, (1) 反復ナップサックオプティマイザで同定された逐次計算ブロックをスキップし, (2) 単純な計算を用いてreds計算グラフの演算順序を再構成してデータキャッシュを活用することで計算効率が向上する。 redsはエッジに頻繁にデプロイされる従来のディープネットワークをサポートし、小さくてシンプルなネットワークでも計算上のメリットを提供する。 Google Speech Commands、FMNIST、CIFAR10データセットでトレーニングされた6つのベンチマークアーキテクチャ上でREDSを評価し、市販のモバイルおよび組み込みハードウェアプラットフォームでテストする。 Arduino Nano 33 BLE センス上の2層完全接続ネットワークを利用して,サブモデルテストセットの精度でREDSの優れた性能を示す理論的結果と実証的証拠を提供し,40$\mu$s以下の動的リソース制約に対応する適応時間を示す。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Toward Efficient Convolutional Neural Networks With Structured Ternary Patterns [1.1965844936801797]
  畳み込みニューラルネットワーク(ConvNets)は、ローカルデバイスリソースに厳しい要求を課す。 本稿では,静的畳み込みフィルタを用いて効率的なConvNetアーキテクチャの設計を行う。
  論文  参考訳（メタデータ） (2024-07-20T10:18:42Z)
• REP: Resource-Efficient Prompting for On-device Continual Learning [23.92661395403251]
  オンデバイス連続学習(CL)は、モデル精度と資源効率の協調最適化を実践するために必要である。 CNNベースのCLは資源効率に優れており、ViTベースのCLはモデル性能に優れていると一般的に信じられている。 本稿では,プロンプトベースのリハーサルフリー手法を特化して資源効率を向上させるREPを紹介する。
  論文  参考訳（メタデータ） (2024-06-07T09:17:33Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Stochastic Configuration Machines: FPGA Implementation [4.57421617811378]
  コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。 本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
  論文  参考訳（メタデータ） (2023-10-30T02:04:20Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• DRESS: Dynamic REal-time Sparse Subnets [7.76526807772015]
  我々は、新しいトレーニングアルゴリズム、Dynamic REal-time Sparse Subnets (DRESS)を提案する。 DRESSは、同じバックボーンネットワークから行ベースの非構造空間を通して複数のサブネットワークをサンプリングし、重み付けされた損失と並行してこれらのサブネットワークを共同で訓練する。 公開ビジョンデータセットの実験では、DRESSは最先端のサブネットワークよりもはるかに精度が高いことが示されている。
  論文  参考訳（メタデータ） (2022-07-01T22:05:07Z)
• Deep Learning-based Resource Allocation For Device-to-Device Communication [66.74874646973593]
  デバイス間通信(D2D)を用いたマルチチャネルセルシステムにおいて,リソース割り当ての最適化のためのフレームワークを提案する。 任意のチャネル条件に対する最適な資源配分戦略をディープニューラルネットワーク(DNN)モデルにより近似する深層学習(DL)フレームワークを提案する。 シミュレーションの結果,提案手法のリアルタイム性能を低速で実現できることが確認された。
  論文  参考訳（メタデータ） (2020-11-25T14:19:23Z)
• Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
  シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。 本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。 我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
  論文  参考訳（メタデータ） (2020-04-08T10:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。