論文の概要: Region Masking to Accelerate Video Processing on Neuromorphic Hardware
- arxiv url: http://arxiv.org/abs/2503.16775v1
- Date: Fri, 21 Mar 2025 01:07:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-24 14:58:40.056833
- Title: Region Masking to Accelerate Video Processing on Neuromorphic Hardware
- Title（参考訳）: ニューロモルフィックハードウェアにおける映像処理の高速化を目指す地域マスキング
- Authors: Sreetama Sarkar, Sumit Bam Shrestha, Yue Che, Leobardo Campos-Macias, Gourav Datta, Peter A. Beerel,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、イベントベースの処理を使用してエネルギー消費を減らすことを約束しているため、特に関心を集めている。
本稿では,SNNの入力における関心領域を識別する領域マスキング戦略を提案する。
提案手法は,入力時のマスキング領域がネットワーク全体のスパイク活性を著しく低減するだけでなく,スループットやレイテンシも大幅に向上することを示す。
- 参考スコア（独自算出の注目度）: 6.293797365364781
- License:
- Abstract: The rapidly growing demand for on-chip edge intelligence on resource-constrained devices has motivated approaches to reduce energy and latency of deep learning models. Spiking neural networks (SNNs) have gained particular interest due to their promise to reduce energy consumption using event-based processing. We assert that while sigma-delta encoding in SNNs can take advantage of the temporal redundancy across video frames, they still involve a significant amount of redundant computations due to processing insignificant events. In this paper, we propose a region masking strategy that identifies regions of interest at the input of the SNN, thereby eliminating computation and data movement for events arising from unimportant regions. Our approach demonstrates that masking regions at the input not only significantly reduces the overall spiking activity of the network, but also provides significant improvement in throughput and latency. We apply region masking during video object detection on Loihi 2, demonstrating that masking approximately 60% of input regions can reduce energy-delay product by 1.65x over a baseline sigma-delta network, with a degradation in mAP@0.5 by 1.09%.
- Abstract（参考訳）: リソース制約のあるデバイスにおけるオンチップエッジインテリジェンスに対する需要が急速に増加し、ディープラーニングモデルのエネルギーとレイテンシを低減するためのアプローチが動機になっている。
スパイキングニューラルネットワーク(SNN)は、イベントベースの処理を使用してエネルギー消費を減らすことを約束しているため、特に関心を集めている。
我々は、SNNにおけるシグマデルタ符号化は、ビデオフレーム間の時間的冗長性を利用することができるが、重要なイベントを処理するために、かなりの量の冗長な計算を伴っていると断言する。
本稿では,SNNの入力における関心領域を識別する領域マスキング戦略を提案する。
提案手法は,入力時のマスキング領域がネットワーク全体のスパイク活性を著しく低減するだけでなく,スループットやレイテンシも大幅に向上することを示す。
また,Loihi 2におけるビデオオブジェクト検出中に領域マスキングを適用し,入力領域の約60%をマスキングすることで,ベースラインシグマデルタネットワーク上でのエネルギー遅延を1.65倍削減し,mAP@0.5の劣化を1.09%低減できることを示した。
関連論文リスト
- MaskVD: Region Masking for Efficient Video Object Detection [11.759503235646696]
ビデオタスクは計算量が多く、リアルタイムアプリケーションにデプロイする際の課題となる。
本稿では,ビデオフレームにおけるマスキング領域の戦略を提案する。
以前のフレームから抽出した特徴を活用することで、ViTバックボーンはリージョンマスキングの恩恵を直接受けられる。
論文 参考訳（メタデータ） (2024-07-16T08:01:49Z) - Rethinking Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising [94.09442506816724]
BSN(Blind-spot Network)は、自己教師付き画像復調(SSID)におけるニューラルネットワークアーキテクチャとして広く使われている。
本研究では,Transformer ベースの Blind-Spot Network (TBSN) を構築した。
論文 参考訳（メタデータ） (2024-04-11T15:39:10Z) - EventRPG: Event Data Augmentation with Relevance Propagation Guidance [25.899827299880577]
スパイキングニューラルネットワーク(SNN)におけるイベントベース分類タスクにおけるオーバーフィッティングは重要な問題である
データ拡張は、ニューラルネットワークの過度な適合を緩和し、一般化能力を改善するための、シンプルだが効率的な方法である。
本研究では、より効率的な拡張のために、スパイキングニューラルネットワーク上の関連伝播を利用するEventRPGを提案する。
論文 参考訳（メタデータ） (2024-03-14T10:52:45Z) - Low-power event-based face detection with asynchronous neuromorphic
hardware [2.0774873363739985]
本稿では、SynSense Speckニューロモルフィックチップ上に展開されたイベントベースの顔検出のためのオンチップスパイクニューラルネットワークの最初の例を示す。
トレーニングに用いるオフチップクロック駆動シミュレーションとオンチップイベント駆動推論との精度の相違について述べる。
オンチップ顔検出のmAP[0.5]は0.6で、20mWしか消費しない。
論文 参考訳（メタデータ） (2023-12-21T19:23:02Z) - EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。
ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。
ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T17:56:39Z) - MSS-DepthNet: Depth Prediction with Multi-Step Spiking Neural Network [8.53512216864715]
スパイキングニューラルネットワークは、イベントカメラタスクの処理に適していると考えられる、新しいイベントベースの計算パラダイムである。
この研究は、新しい残差ブロックと多次元アテンションモジュールを組み合わせたスパイクニューラルネットワークアーキテクチャを提案する。
このモデルはMVSECデータセットで同じ大きさのANNネットワークより優れており、計算効率が高い。
論文 参考訳（メタデータ） (2022-11-22T10:35:36Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - POEM: 1-bit Point-wise Operations based on Expectation-Maximization for
Efficient Point Cloud Processing [53.74076015905961]
我々は,効率的なポイントクラウド処理のために,期待最大化に基づくポイントワイズ処理をBNNに導入する。
私たちのPOEMは、最先端のバイナリポイントクラウドネットワークを6.7%まで大きく上回っている。
論文 参考訳（メタデータ） (2021-11-26T09:45:01Z) - A Survey of Quantization Methods for Efficient Neural Network Inference [75.55159744950859]
量子化は、必要なビット数を最小限に抑えるために、固定された離散数の集合に連続実数値を分散する問題である。
近年、コンピュータビジョン、自然言語処理、関連分野でのニューラルネットワークモデルの顕著な性能のために最前線に達しています。
浮動小数点表現から4ビット以下の低精度固定整数値への移行は、メモリフットプリントとレイテンシを16倍削減する可能性を秘めている。
論文 参考訳（メタデータ） (2021-03-25T06:57:11Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳（メタデータ） (2021-03-15T12:54:26Z) - BABO: Background Activation Black-Out for Efficient Object Detection [1.433758865948252]
本稿では,計算コストを削減できるオブジェクト検出手法を提案する。
スパシファイド・アクティベーションは推論速度を高めるために利用することができる。
重ネットワーク(VGGとRetinaNet)でも同様の傾向を示す。
論文 参考訳（メタデータ） (2020-02-05T02:25:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。