論文の概要: Training for temporal sparsity in deep neural networks, application in video processing

• arxiv url: http://arxiv.org/abs/2107.07305v1
• Date: Thu, 15 Jul 2021 13:17:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-16 20:34:56.183703
• Title: Training for temporal sparsity in deep neural networks, application in video processing
• Title（参考訳）: 深部ニューラルネットワークにおける時間空間の訓練とビデオ処理への応用
• Authors: Amirreza Yousefzadeh, Manolis Sifalakis
• Abstract要約: アクティベーション・スパシティは、スパシティを意識したニューラルネットワークアクセラレーターにおける計算効率とリソース利用を改善する。 デルタ活性化層(Delta Activation Layer)と呼ばれる新しいレイヤを導入し、トレーニング中のアクティベーションの時間的間隔を促進する。 より長期トレーニング後のモデル精度の回復を可能とし, ほぼ3倍のアクティベーション間隔の改善を報告した。
• 参考スコア（独自算出の注目度）: 0.30458514384586394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation sparsity improves compute efficiency and resource utilization in sparsity-aware neural network accelerators. As the predominant operation in DNNs is multiply-accumulate (MAC) of activations with weights to compute inner products, skipping operations where (at least) one of the two operands is zero can make inference more efficient in terms of latency and power. Spatial sparsification of activations is a popular topic in DNN literature and several methods have already been established to bias a DNN for it. On the other hand, temporal sparsity is an inherent feature of bio-inspired spiking neural networks (SNNs), which neuromorphic processing exploits for hardware efficiency. Introducing and exploiting spatio-temporal sparsity, is a topic much less explored in DNN literature, but in perfect resonance with the trend in DNN, to shift from static signal processing to more streaming signal processing. Towards this goal, in this paper we introduce a new DNN layer (called Delta Activation Layer), whose sole purpose is to promote temporal sparsity of activations during training. A Delta Activation Layer casts temporal sparsity into spatial activation sparsity to be exploited when performing sparse tensor multiplications in hardware. By employing delta inference and ``the usual'' spatial sparsification heuristics during training, the resulting model learns to exploit not only spatial but also temporal activation sparsity (for a given input data distribution). One may use the Delta Activation Layer either during vanilla training or during a refinement phase. We have implemented Delta Activation Layer as an extension of the standard Tensoflow-Keras library, and applied it to train deep neural networks on the Human Action Recognition (UCF101) dataset. We report an almost 3x improvement of activation sparsity, with recoverable loss of model accuracy after longer training.
• Abstract（参考訳）: アクティベーションスパーシティは、sparsity-awareニューラルネットワークアクセラレータの計算効率とリソース利用を改善する。 DNNにおける主要な操作は、内部積を計算するために重み付きアクティベーションの乗算積(MAC)であるため、少なくとも2つのオペランドのうちの1つがゼロであるようなスキップ操作は、遅延とパワーの観点から推論をより効率的にすることができる。 アクティベーションの空間的スペーシフィケーションはDNN文学において一般的な話題であり、DNNに偏見を与えるいくつかの方法がすでに確立されている。 一方、時間空間はバイオインスパイアされたスパイクニューラルネットワーク(SNN)の固有の特徴であり、ニューロモルフィック処理はハードウェア効率に悪影響を及ぼす。 時空間の空間性の導入と利用は、DNNの文献では、静的信号処理からよりストリーミング信号処理に移行するために、DNNの傾向と完全に一致している。 そこで本論文では,新たなDNN層(Delta Activation Layer)を提案する。 Delta Activation Layerは、ハードウェアでスパーステンソル乗算を行う際に、時間間隔を空間的アクティベーション空間にキャストする。 訓練中にデルタ推定と'the usual'の空間スペーシフィケーションヒューリスティックスを用いることで、得られたモデルは空間的だけでなく時間的アクティベーションスペーシリティ(与えられた入力データ分布)を利用することができる。 デルタ活性化層は、バニラトレーニング中またはリファインメントフェーズ中のいずれかで使用できる。 我々は、標準のTensoflow-Kerasライブラリの拡張としてDelta Activation Layerを実装し、Human Action Recognition (UCF101)データセット上のディープニューラルネットワークのトレーニングに応用した。 トレーニング後のモデル精度の回復を可能とし,約3倍のアクティベーション間隔の改善を報告した。

関連論文リスト

• Exploring the Benefit of Activation Sparsity in Pre-training [117.25661020250658]
  プレトレーニング中に活性化特性がどう変化するかを検討した。 本稿では,Sparse-Dense Learning (SSD)を提案する。 SSDは同じモデルサイズで同等のパフォーマンスを実現し、事前トレーニングコストを削減する。
  論文  参考訳（メタデータ） (2024-10-04T13:53:33Z)
• Temporal Reversed Training for Spiking Neural Networks with Generalized Spatio-Temporal Representation [3.5624857747396814]
  スパイニューラルネットワーク(SNN)は、超低エネルギーコンピューティングパラダイムとして広く注目を集めている。 近年,SNNの特徴抽出能力の向上に焦点が当てられているが,非効率性や準最適性能に悩まされている。 私たち。 SNNの時間的性能を最適化するために,TRT法を提案する。
  論文  参考訳（メタデータ） (2024-08-17T06:23:38Z)
• Exploiting Symmetric Temporally Sparse BPTT for Efficient RNN Training [20.49255973077044]
  この研究は、デルタRNNのトレーニングアルゴリズムを記述し、後方伝播フェーズにおける時間的間隔を利用してエッジでのトレーニングの計算要求を減らした。 その結果,Fluent Speech Commandsデータセット上で,56kパラメータのDelta LSTMをトレーニングするための行列演算の$sim$80%の削減効果が認められた。 提案したDelta RNNトレーニングは,限られたコンピューティングリソースを持つエッジデバイス上でのオンラインインクリメンタル学習に有用であることを示す。
  論文  参考訳（メタデータ） (2023-12-14T23:07:37Z)
• Dynamic Sparsity Is Channel-Level Sparsity Learner [91.31071026340746]
  ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、ススパーストレーニングの指導的アプローチである。 チャネル対応動的スパース(Chase)は、非構造的動的スパースをチャネルレベルのスパースにシームレスに変換する。 提案手法は,非構造的空間性からチャネルワイド空間性へ変換する。
  論文  参考訳（メタデータ） (2023-05-30T23:33:45Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Temporal Efficient Training of Spiking Neural Network via Gradient Re-weighting [29.685909045226847]
  脳にインスパイアされたスパイクニューロンネットワーク(SNN)は、事象駆動的でエネルギー効率のよい特徴から、広く研究の関心を集めている。 シュロゲート勾配による現在の直接訓練手法は、一般化性に乏しいSNNに結果をもたらす。 SGによる勾配降下時の運動量の減少を補うための時間的効率訓練(TET)手法を導入する。
  論文  参考訳（メタデータ） (2022-02-24T08:02:37Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Training Energy-Efficient Deep Spiking Neural Networks with Single-Spike Hybrid Input Encoding [5.725845886457027]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動型ニューロモルフィックハードウェアにおいて高い計算効率を提供する。 SNNは、非効率な入力符号化とトレーニング技術により、高い推論遅延に悩まされる。 本稿では低遅延エネルギー効率SNNのためのトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-26T06:16:40Z)
• Structured in Space, Randomized in Time: Leveraging Dropout in RNNs for Efficient Training [18.521882534906972]
  我々は,同じ物理ニューロンの集合をバッチ内にドロップアウトし,列(ロー)レベルの隠された状態空間を作り出すことにより,ドロップアウトパターンを構築することを提案する。 PTBデータセットに基づく言語モデリング、IWSLT De-EnデータセットとEn-Viデータセットを用いたOpenNMTベースの機械翻訳、エンティティ認識シーケンスラベリングの3つの代表的なNLPタスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-06-22T22:44:32Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。