論文の概要: Accelerating Linear Recurrent Neural Networks for the Edge with Unstructured Sparsity

• arxiv url: http://arxiv.org/abs/2502.01330v1
• Date: Mon, 03 Feb 2025 13:09:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:05:06.281096
• Title: Accelerating Linear Recurrent Neural Networks for the Edge with Unstructured Sparsity
• Title（参考訳）: 非構造性を有するエッジに対する線形リカレントニューラルネットワークの高速化
• Authors: Alessandro Pierro, Steven Abreu, Jonathan Timcheck, Philipp Stratmann, Andreas Wild, Sumit Bam Shrestha,
• Abstract要約: 線形リカレントニューラルネットワークは、推論中に一定のメモリ使用量と時間毎の時間を含む強力な長距離シーケンスモデリングを可能にする。 非構造化空間は、互換性のあるハードウェアプラットフォームによって加速されるときに、計算とメモリの要求を大幅に削減できる魅力的なソリューションを提供する。 非常に疎い線形RNNは、高密度ベースラインよりも高い効率と性能のトレードオフを一貫して達成している。
• 参考スコア（独自算出の注目度）: 39.483346492111515
• License:
• Abstract: Linear recurrent neural networks enable powerful long-range sequence modeling with constant memory usage and time-per-token during inference. These architectures hold promise for streaming applications at the edge, but deployment in resource-constrained environments requires hardware-aware optimizations to minimize latency and energy consumption. Unstructured sparsity offers a compelling solution, enabling substantial reductions in compute and memory requirements--when accelerated by compatible hardware platforms. In this paper, we conduct a scaling study to investigate the Pareto front of performance and efficiency across inference compute budgets. We find that highly sparse linear RNNs consistently achieve better efficiency-performance trade-offs than dense baselines, with 2x less compute and 36% less memory at iso-accuracy. Our models achieve state-of-the-art results on a real-time streaming task for audio denoising. By quantizing our sparse models to fixed-point arithmetic and deploying them on the Intel Loihi 2 neuromorphic chip for real-time processing, we translate model compression into tangible gains of 42x lower latency and 149x lower energy consumption compared to a dense model on an edge GPU. Our findings showcase the transformative potential of unstructured sparsity, paving the way for highly efficient recurrent neural networks in real-world, resource-constrained environments.
• Abstract（参考訳）: 線形リカレントニューラルネットワークは、推論中に一定のメモリ使用量と時間毎の時間を含む強力な長距離シーケンスモデリングを可能にする。 これらのアーキテクチャは、エッジでのストリーミングアプリケーションを約束するが、リソースに制約のある環境へのデプロイには、レイテンシとエネルギー消費を最小限に抑えるために、ハードウェア対応の最適化が必要である。 非構造化空間は、互換性のあるハードウェアプラットフォームによって加速される、計算とメモリ要求の大幅な削減を可能にする、魅力的なソリューションを提供する。 本稿では,推論計算予算におけるParetoの業績と効率性について,スケールスタディを実施して検討する。 その結果,高分散線形RNNは高密度ベースラインよりも高い効率・性能トレードオフを実現でき,計算能力は2倍,メモリ容量は36%削減できることがわかった。 提案モデルでは,リアルタイムな音声デノゲーションのためのストリーミングタスクにおいて,最先端の成果が得られている。 我々のスパースモデルを固定点演算に量子化し、リアルタイム処理のためにIntel Loihi 2ニューロモルフィックチップ上に展開することにより、モデル圧縮をエッジGPUの高密度モデルと比較して42倍のレイテンシと149倍のエネルギー消費の具体的なゲインに変換する。 我々の研究結果は、非構造空間の変革の可能性を示し、実環境、資源制約のある環境での高効率なリカレントニューラルネットワークの道を開いた。

関連論文リスト

• USEFUSE: Utile Stride for Enhanced Performance in Fused Layer Architecture of Deep Neural Networks [0.6435156676256051]
  本研究では,低レイテンシ左から右へのビットシリアル演算を用いた畳み込みのためのSum-of-Products (SOP)ユニットを提案する。 有効メカニズムは、ReLU層の後、非効率な畳み込みを検出し、スキップし、消費電力を最小化する。 ひとつはミッションクリティカルなアプリケーションの応答時間を最小限にすること、もうひとつはリソースに制約のあるデバイスに同じレイテンシでフォーカスすることである。
  論文  参考訳（メタデータ） (2024-12-18T11:04:58Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Accelerating Deep Neural Networks via Semi-Structured Activation Sparsity [0.0]
  ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。 そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。 当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
  論文  参考訳（メタデータ） (2023-09-12T22:28:53Z)
• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• Latency-aware Spatial-wise Dynamic Networks [33.88843632160247]
  深層ネットワークのための遅延認識型空間的動的ネットワーク(LASNet)を提案する。 LASNetは、新しい遅延予測モデルのガイダンスに基づき、粗粒度空間適応推論を行う。 画像分類,オブジェクト検出,インスタンスセグメンテーションの実験により,提案手法はディープネットワークの実用的な推論効率を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2022-10-12T14:09:27Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Architecture Aware Latency Constrained Sparse Neural Networks [35.50683537052815]
  本稿では,CNNモデルの作成と高速化を目的として,遅延制約付きスパースフレームワークを設計する。 また,効率的な計算のための新しいスパース畳み込みアルゴリズムを提案する。 我々のシステム・アルゴリズムの共同設計フレームワークは、リソース制約のあるモバイルデバイス上でのネットワークの精度とレイテンシのフロンティアをはるかに向上させることができる。
  論文  参考訳（メタデータ） (2021-09-01T03:41:31Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• From DNNs to GANs: Review of efficient hardware architectures for deep learning [0.0]
  ニューラルネットワークとディープラーニングが現在の研究パラダイムに影響を与え始めている。 DSPプロセッサは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成的敵ネットワーク操作を実行することができない。 異なるアルゴリズムは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成対向ネットワークにおける高速なパフォーマンスに適合するDSPプロセッサを設計するために適合している。
  論文  参考訳（メタデータ） (2021-06-06T13:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。