Fugu-MT 論文翻訳(概要): Don't Think It Twice: Exploit Shift Invariance for Efficient Online Streaming Inference of CNNs

論文の概要: Don't Think It Twice: Exploit Shift Invariance for Efficient Online Streaming Inference of CNNs

arxiv url: http://arxiv.org/abs/2408.03223v1
Date: Tue, 6 Aug 2024 14:36:29 GMT
ステータス: 処理完了
システム内更新日: 2024-08-07 13:48:07.714875
Title: Don't Think It Twice: Exploit Shift Invariance for Efficient Online Streaming Inference of CNNs
Title（参考訳）: CNNの効率的なオンラインストリーミング推論のための爆発的シフト不変性
Authors: Christodoulos Kechris, Jonathan Dan, Jose Miranda, David Atienza,
Abstract要約: 本稿では,オンラインストリーミング推論のための畳み込みニューラルネットワークの展開戦略であるStreamiNNCを紹介する。ストリーミング推論の精度に対するゼロパディングとプールの悪影響について検討する。シミュレーションデータと実世界の3つのバイオメディカル信号処理アプリケーションを用いて本手法の有効性を検証する。
参考スコア（独自算出の注目度）: 3.329222353111594
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep learning time-series processing often relies on convolutional neural networks with overlapping windows. This overlap allows the network to produce an output faster than the window length. However, it introduces additional computations. This work explores the potential to optimize computational efficiency during inference by exploiting convolution's shift-invariance properties to skip the calculation of layer activations between successive overlapping windows. Although convolutions are shift-invariant, zero-padding and pooling operations, widely used in such networks, are not efficient and complicate efficient streaming inference. We introduce StreamiNNC, a strategy to deploy Convolutional Neural Networks for online streaming inference. We explore the adverse effects of zero padding and pooling on the accuracy of streaming inference, deriving theoretical error upper bounds for pooling during streaming. We address these limitations by proposing signal padding and pooling alignment and provide guidelines for designing and deploying models for StreamiNNC. We validate our method in simulated data and on three real-world biomedical signal processing applications. StreamiNNC achieves a low deviation between streaming output and normal inference for all three networks (2.03 - 3.55% NRMSE). This work demonstrates that it is possible to linearly speed up the inference of streaming CNNs processing overlapping windows, negating the additional computation typically incurred by overlapping windows.
Abstract（参考訳）: ディープラーニングの時系列処理は、しばしば重なり合うウィンドウを持つ畳み込みニューラルネットワークに依存している。この重複により、ネットワークはウィンドウ長よりも早く出力を生成することができる。しかし、追加の計算を導入している。本研究では、畳み込みのシフト不変性を利用して、連続する重なり合うウィンドウ間の層活性化の計算を省略することで、推論中の計算効率を最適化する可能性を探る。畳み込みはシフト不変であるが、そのようなネットワークで広く使われているゼロパディングとプール操作は効率的ではなく、効率的なストリーミング推論を複雑にしている。本稿では,オンラインストリーミング推論のための畳み込みニューラルネットワークの展開戦略であるStreamiNNCを紹介する。本研究は, ストリーミング推定精度に対するゼロパディングとプールの悪影響を考察し, ストリーミング中のプールに対する理論的誤差上限を導出する。信号パディングとプールアライメントを提案し、StreamiNNCのモデルの設計とデプロイのためのガイドラインを提供する。シミュレーションデータと実世界の3つのバイオメディカル信号処理アプリケーションを用いて本手法の有効性を検証する。 StreamiNNCは、ストリーミング出力と通常の3つのネットワーク(2.03～3.55% NRMSE)の差を低くする。この研究は、重なり窓が重なり窓が重なり、重なり窓が典型的に発生する余分な計算を否定し、ストリーミングCNNの処理を線形に高速化できることを実証している。

関連論文リスト

A Converting Autoencoder Toward Low-latency and Energy-efficient DNN Inference at the Edge [4.11949030493552]
エッジデバイスに適した低レイテンシかつエネルギー効率のDeep Neural Network (DNN) 推論フレームワークであるCBNetを提案する。変換」オートエンコーダを使用して、ハードイメージを簡単なものに効率よく変換する。 CBNetは推論遅延の4.8倍のスピードアップと79%のエネルギー消費の削減を実現している。
論文参考訳（メタデータ） (2024-03-11T08:13:42Z)
PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
論文参考訳（メタデータ） (2022-10-17T14:49:14Z)
Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
論文参考訳（メタデータ） (2022-07-22T18:38:11Z)
EcoFlow: Efficient Convolutional Dataflows for Low-Power Neural Network Accelerators [12.223778147172107]
拡張畳み込み畳み込みは現代の畳み込みニューラルネットワーク(CNN)で広く使われているこれらのカーネルは、その高いメモリ強度、エクサスケールな計算要求、大きなエネルギー消費のために、現在の計算システムを強調している。拡張および変換された畳み込みのための新しいデータフローとマッピングアルゴリズムであるEcoFlowを提案する。
論文参考訳（メタデータ） (2022-02-04T18:48:36Z)
An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文参考訳（メタデータ） (2022-01-09T09:31:50Z)
cuConv: A CUDA Implementation of Convolution for CNN Inference [0.0]
Convolutionsは、Convolutional Neural Networks(CNN)に基づくディープラーニングアプリケーションのコアオペレーションである。本論文では,事前データ変換を必要とせずに,結合アクセスを好むCNN推論のための畳み込み操作のGPUベースの実装を提案する。実験により,提案手法はCNN前方伝播畳み込み構成において顕著な性能向上をもたらすことが示された。
論文参考訳（メタデータ） (2021-03-30T10:33:53Z)
Distillation Guided Residual Learning for Binary Convolutional Neural Networks [83.6169936912264]
Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
論文参考訳（メタデータ） (2020-07-10T07:55:39Z)
Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文参考訳（メタデータ） (2020-06-21T08:23:03Z)
Prediction of wall-bounded turbulence from wall quantities using convolutional neural networks [0.0]
完全畳み込みニューラルネットモデルを用いて,壁面正規位置の流速場を予測する。様々なネットワークが3つの内部スケールの場所で予測するために訓練されている。
論文参考訳（メタデータ） (2019-12-30T15:34:41Z)
Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。