論文の概要: UnIT: Scalable Unstructured Inference-Time Pruning for MAC-efficient Neural Inference on MCUs

• arxiv url: http://arxiv.org/abs/2507.07885v1
• Date: Thu, 10 Jul 2025 16:12:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.483491
• Title: UnIT: Scalable Unstructured Inference-Time Pruning for MAC-efficient Neural Inference on MCUs
• Title（参考訳）: UnIT: MCU上でのMAC効率なニューラル推論のためのスケーラブルな非構造推論時間計算
• Authors: Ashe Neth, Sawinder kaur, Mohammad Nur Hossain Khan, Subrata Biswas, Asif Salekin, Bashima Islam,
• Abstract要約: UnIT (Unstructured Inference-Time pruning) は、推論中に不要な乗算(MAC)操作を動的に識別し、スキップする軽量な手法である。 プルーニング決定を軽量比較に変換し、乗算をしきい値チェックと近似分割に置き換える。 UNITは11.02%から82.03%のMAC削減、27.30%から84.19%の高速推論、27.33%から84.38%の低エネルギー化を実現している。
• 参考スコア（独自算出の注目度）: 1.9626657740463982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing pruning methods are typically applied during training or compile time and often rely on structured sparsity. While compatible with low-power microcontrollers (MCUs), structured pruning underutilizes the opportunity for fine-grained efficiency on devices without SIMD support or parallel compute. To address these limitations, we introduce UnIT (Unstructured Inference-Time pruning), a lightweight method that dynamically identifies and skips unnecessary multiply-accumulate (MAC) operations during inference, guided by input-specific activation patterns. Unlike structured pruning, UnIT embraces irregular sparsity and does not require retraining or hardware specialization. It transforms pruning decisions into lightweight comparisons, replacing multiplications with threshold checks and approximated divisions. UnIT further optimizes compute by reusing threshold computations across multiple connections and applying layer- and group-specific pruning sensitivity. We present three fast, hardware-friendly division approximations tailored to the capabilities of common embedded platforms. Demonstrated on the MSP430 microcontroller, UnIT achieves 11.02% to 82.03% MAC reduction, 27.30% to 84.19% faster inference, and 27.33% to 84.38% lower energy consumption compared to training-time pruned models, while maintaining accuracy with 0.48-7%. Under domain shift, UnIT matches or exceeds the accuracy of retrained models while requiring significantly fewer MACs. These results establish unstructured inference-time pruning as a viable and practical solution for efficient, retraining-free deployment of deep neural networks on MCUs.
• Abstract（参考訳）: 既存のプルーニング法は通常、トレーニングやコンパイル時に適用され、しばしば構造化された空間に依存する。 低消費電力マイクロコントローラ(MCU)と互換性があるが、構造化プルーニングはSIMDサポートや並列計算を使わずにデバイス上できめ細かな効率の機会を弱める。 これらの制約に対処するため,UnIT (Unstructured Inference-Time pruning) という,入力固有のアクティベーションパターンによって誘導される推論中に不要な乗算(MAC)操作を動的に識別・スキップする軽量な手法を導入する。 構造化プルーニングとは異なり、UnITは不規則な間隔を持ち、再トレーニングやハードウェアの専門化を必要としない。 プルーニング決定を軽量比較に変換し、乗算をしきい値チェックと近似分割に置き換える。 UnITはさらに、複数の接続にまたがるしきい値計算を再利用し、層およびグループ固有のプルーニング感度を適用して計算を最適化する。 組込みプラットフォームの能力に合わせたハードウェアフレンドリーな3つの高速な除算近似を提示する。 MSP430マイクロコントローラで実証されたUnITは11.02%から82.03%のMAC削減、27.30%から84.19%の高速推論、27.33%から84.38%の低消費電力を実現し、精度は0.48-7%である。 ドメインシフトの下では、UnITは再訓練されたモデルの精度と一致し、MACを著しく少なくする。 これらの結果は、MCU上でのディープニューラルネットワークの効率的かつ再トレーニング不要なデプロイのための実用的ソリューションとして、非構造化推論時間プルーニングを確立している。

関連論文リスト

• LOP: Learning Optimal Pruning for Efficient On-Demand MLLMs Scaling [52.1366057696919]
  LOPは、ターゲットプルーニング制約から最適なプルーニング戦略を学ぶ、効率的なニューラルプルーニングフレームワークである。 LOPアプローチでは、自動回帰ニューラルネットワーク(NN)を使用して、ターゲットプルーニング制約に適応したレイヤワイズプルーニング戦略を直接予測する。 実験の結果,LOPは最大3桁のスピードアップを達成しつつ,様々な測定値において最先端のプルーニング手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-06-15T12:14:16Z)
• ISO: Overlap of Computation and Communication within Seqenence For LLM Inference [8.616769297336708]
  本稿では,シーケンスレベルで動作する計算通信重複に対する新しい戦略を提案する。 30b/70bモデルを用いて実験を行った結果,効率が著しく向上した。
  論文  参考訳（メタデータ） (2024-09-04T05:22:17Z)
• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Reduced Precision Floating-Point Optimization for Deep Neural Network On-Device Learning on MicroControllers [15.37318446043671]
  本稿では,MCUクラスデバイス上でのオンデバイス学習(ODL)プリミティブに対して,新しい精度最適化手法を提案する。 我々のアプローチは、シングルコアMCUのための既存のODLソフトウェアフレームワークよりも2桁以上高速である。
  論文  参考訳（メタデータ） (2023-05-30T16:14:16Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Memristive Stochastic Computing for Deep Learning Parameter Optimization [1.6344851071810071]
  コンピューティング(sc)は、ビットストリームとデジタルロジックを用いた様々な演算処理の低コストかつ低消費電力化を可能にするコンピューティングパラダイムである。 40nmの補完金属酸化物半導体(CMOS)プロセスを使用することで、拡張可能なアーキテクチャは1.55mm$2$を占め、文字認識タスクのために訓練されている間、畳み込みニューラルネットワーク(CNN)のパラメータを最適化する際に約167$mu$Wを消費します。
  論文  参考訳（メタデータ） (2021-03-11T07:10:32Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• ESSOP: Efficient and Scalable Stochastic Outer Product Architecture for Deep Learning [1.2019888796331233]
  行列ベクトル乗算(MVM)とベクトルベクトル外積(VVOP)は、ディープニューラルネットワーク(DNN)のトレーニングに関連する2つの最も高価な演算である。 DNNの重み更新において,多くの最先端ネットワークで要求される活性化機能を備えたSCに効率的な手法を導入する。 我々のアーキテクチャは、乱数を再使用し、ビットシフトスケーリングによって特定のFP乗算演算を置き換えることで計算コストを削減する。 14nm技術ノードにおけるESSOPのハードウェア設計は、高度にパイプライン化されたFP16乗算器と比較して、ESSOPは82.2%、93.7%エネルギー効率が良いことを示している。
  論文  参考訳（メタデータ） (2020-03-25T07:54:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。