論文の概要: Energy-Efficient Stochastic Computing (SC) Neural Networks for Internet of Things Devices With Layer-Wise Adjustable Sequence Length (ASL)
- arxiv url: http://arxiv.org/abs/2508.09163v1
- Date: Tue, 05 Aug 2025 16:45:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-14 20:42:00.568919
- Title: Energy-Efficient Stochastic Computing (SC) Neural Networks for Internet of Things Devices With Layer-Wise Adjustable Sequence Length (ASL)
- Title（参考訳）: 層幅可変シーケンス長(ASL)を用いたモノのインターネットのためのエネルギー効率の高い確率計算(SC)ニューラルネットワーク
- Authors: Ziheng Wang, Pedro Reviriego, Farzad Niknia, Zhen Gao, Javier Conde, Shanshan Liu, Fabrizio Lombardi,
- Abstract要約: Adjustable Sequence Length (ASL)は、ニューラルネットワーク(NN)に特異的に混合精度の概念を適用する新しいスキームである。
本稿では,SC NN に対して混合精度の概念を適用した新しいスキーム ASL を紹介する。
32nmで合成されたパイプラインSCの評価は、ASLがエネルギーと遅延オーバーヘッドを最大60%削減できることを示した。
- 参考スコア（独自算出の注目度）: 12.43648551511862
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stochastic computing (SC) has emerged as an efficient low-power alternative for deploying neural networks (NNs) in resource-limited scenarios, such as the Internet of Things (IoT). By encoding values as serial bitstreams, SC significantly reduces energy dissipation compared to conventional floating-point (FP) designs; however, further improvement of layer-wise mixed-precision implementation for SC remains unexplored. This article introduces Adjustable Sequence Length (ASL), a novel scheme that applies mixed-precision concepts specifically to SC NNs. By introducing an operator-norm-based theoretical model, this article shows that truncation noise can cumulatively propagate through the layers by the estimated amplification factors. An extended sensitivity analysis is presented, using random forest (RF) regression to evaluate multilayer truncation effects and validate the alignment of theoretical predictions with practical network behaviors. To accommodate different application scenarios, this article proposes two truncation strategies (coarse-grained and fine-grained), which apply diverse sequence length configurations at each layer. Evaluations on a pipelined SC MLP synthesized at 32nm demonstrate that ASL can reduce energy and latency overheads by up to over 60% with negligible accuracy loss. It confirms the feasibility of the ASL scheme for IoT applications and highlights the distinct advantages of mixed-precision truncation in SC designs.
- Abstract（参考訳）: 確率コンピューティング(SC)は、IoT(Internet of Things)などのリソース制限シナリオにニューラルネットワーク(NN)をデプロイするための、効率的な低消費電力代替手段として登場した。
シリアルビットストリームとして値を符号化することにより、SCは従来の浮動小数点(FP)設計に比べてエネルギー散逸を著しく低減するが、SCの層単位での混合精度実装のさらなる改善は未解明のままである。
本稿では,SC NN に対して混合精度の概念を適用した新しいスキームである Adjustable Sequence Length (ASL) を紹介する。
作用素ノルム理論モデルを導入することにより, トルーニケーションノイズが推定増幅係数によって累積伝播可能であることを示す。
ランダムフォレスト (RF) 回帰を用いた拡張感度解析を行い, 多層トランケーション効果を評価し, 理論的予測と実用的なネットワーク行動との整合性を検証する。
異なるアプリケーションシナリオに対応するため,本論文では,各レイヤに異なるシーケンス長構成を適用する2つのトラルニケーション戦略(粗粒度と細粒度)を提案する。
32nmで合成されたパイプラインSC MLPの評価は、ASLが無視できる精度を失うことなく、エネルギーと遅延のオーバーヘッドを最大60%削減できることを示した。
これは、IoTアプリケーションに対するASLスキームの実現性を確認し、SC設計における混合精度の切り離しの明確な利点を強調している。
関連論文リスト
- Neural Channel Knowledge Map Assisted Scheduling Optimization of Active IRSs in Multi-User Systems [12.366506331526201]
インテリジェントリフレクション・サーフェス(IRS)は、次世代無線ネットワークにおいて大きなパフォーマンス向上をもたらす可能性がある。
IRSはハードウェアの制約により、特に重度の二重パスと複雑なマルチユーザースケジューリングといった重要な課題に直面している。
本稿では,ニューラルチャネル知識マップ(CKM)に基づく新しいスケジューリングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-09T15:14:03Z) - Hyperpruning: Efficient Search through Pruned Variants of Recurrent Neural Networks Leveraging Lyapunov Spectrum [7.136205674624814]
LS-based Hyperpruning (LSH) と呼ばれる効率的なハイパープルニングフレームワークを導入する。
LSベースのHyperpruningは、フルトレーニングに依存する従来のアプローチに比べて、検索時間を桁違いに削減する。
論文 参考訳（メタデータ） (2025-06-09T17:49:29Z) - Optimization of Layer Skipping and Frequency Scaling for Convolutional Neural Networks under Latency Constraint [6.6947001137138455]
本稿では,PLS(Proportional Layer Skipping)に関わるアプローチを提案し,周波数スケーリング(FS)を調整する。
PLSはネットワーク層を選択的にバイパスすることで計算複雑性を減らし、一方レイテンシ制約下でのエネルギー使用を最適化するためにプロセッサの周波数を周波数スケーリングする。
CIFAR-10データセットを用いたResNet-152の実験では、計算要求とエネルギー消費が最小限の精度で大幅に削減された。
論文 参考訳（メタデータ） (2025-03-31T12:40:11Z) - Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。
本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文 参考訳（メタデータ） (2024-06-06T23:19:57Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Unifying Synergies between Self-supervised Learning and Dynamic
Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。
SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。
密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文 参考訳（メタデータ） (2023-01-22T17:12:58Z) - Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。
この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
論文 参考訳（メタデータ） (2022-12-25T15:40:05Z) - VQ-T: RNN Transducers using Vector-Quantized Prediction Network States [52.48566999668521]
本稿では,RNNトランスデューサの予測ネットワークにおけるベクトル量子化長短期記憶単位を提案する。
ASRネットワークと協調して離散表現を訓練することにより、格子生成のために仮説を積極的にマージすることができる。
提案するVQ RNNトランスデューサは,通常の予測ネットワークを持つトランスデューサよりもASR性能が向上することを示す。
論文 参考訳（メタデータ） (2022-08-03T02:45:52Z) - PAMS: Quantized Super-Resolution via Parameterized Max Scale [84.55675222525608]
深部畳み込みニューラルネットワーク(DCNN)は超解像処理(SR)において優位な性能を示した
本稿では,PAMS(Parameterized Max Scale)と呼ばれる新しい量子化手法を提案する。
実験により,提案手法はEDSRやRDNなどの既存のSRモデルを適切に圧縮・高速化できることが示された。
論文 参考訳（メタデータ） (2020-11-09T06:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。