論文の概要: Theoretical and Empirical Analysis of Sparse Convolution
- arxiv url: http://arxiv.org/abs/2611.17212v1
- Date: Thu, 12 Nov 2026 18:10:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.581364
- Title: Theoretical and Empirical Analysis of Sparse Convolution
- Title(参考訳): スパース・コンボリューションの理論と実証分析
- Abstract要約: 3×3のスパース畳み込みは,約10 FLOP/バイトの算術強度を,約96 FLOP/バイトの密度で達成できることを示す。
NVIDIA A100の高密度畳み込みとNVIDIA Jetson Nano(Tegra X1)の1.52倍の高密度畳み込みと比較して,本手法は最大1.65倍の高速化を実現することを示す予備的な結果が得られた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks for image processing are increasingly deployed on resource-constrained edge devices such as drones, medical systems, and smartphones, where limited computational resources and memory bandwidth pose significant challenges for efficient inference. Pruning during training often produces highly sparse convolutional kernels, offering the potential to significantly reduce computation and memory requirements. However, exploiting this sparsity efficiently at runtime remains challenging due to irregular memory access patterns and workload imbalance across processing elements. In this work, we investigate the standard convolution with sparse weights and analyze its performance characteristics through roofline analysis, showing that a 3 x 3 sparse convolution achieves an arithmetic intensity of approximately 10 FLOP/byte compared to roughly 96 FLOP/byte for its dense counterpart. We propose techniques for an efficient sparse convolution at high sparsities. Preliminary results demonstrate that our approach achieves upto 1.65x speedup as compared to dense convolution on NVIDIA A100 and upto 1.52x on NVIDIA Jetson Nano (Tegra X1) , motivating further exploration of direct convolution as a practical path to efficient sparse inference on modern accelerators/edge devices.
- Abstract(参考訳): 画像処理のためのディープニューラルネットワークは、効率的な推論のために限られた計算資源とメモリ帯域幅が大きな課題となる、ドローン、医療システム、スマートフォンなどのリソースに制限されたエッジデバイスにますますデプロイされている。
トレーニング中のプルーニングは、しばしば高度にスパースな畳み込みカーネルを生成し、計算とメモリ要求を大幅に削減する可能性がある。
しかし、不規則なメモリアクセスパターンと処理要素間のワークロードの不均衡のため、実行時にこの空間を効率的に利用することは依然として困難である。
本研究では,3 x 3 のスパース畳み込みが約10 FLOP/バイトの算術強度を達成するのに対し,約96 FLOP/バイトの重み付き標準畳み込みについて検討し,屋根面解析による性能特性の解析を行った。
高空間での効率的なスパース畳み込み手法を提案する。
提案手法はNVIDIA A100の高密度畳み込みとNVIDIA Jetson Nano(Tegra X1)の1.52倍の高密度畳み込みと比較して最大1.65倍の高速化を実現し,現代の加速器/エッジデバイスでのスパース推論を効率的に行うための実用的な方法として,直接畳み込みのさらなる探索を動機としている。
関連論文リスト
- TurboGS: Accelerating 3D Gaussian Splatting via Error-Guided Sparse Pixel Sampling and Optimization [54.179316928687435]
TurboGSは3DGSを高速化するエラー誘導トレーニングフレームワークであり、知覚的に情報のあるピクセルに最適化を集中させることで実現している。
標準ベンチマークの実験では、5090GPUカード1枚で100秒以内にTurboGSが同等または優れたレンダリング品質を提供できることが示されている。
論文 参考訳(メタデータ) (2026-06-14T16:59:48Z) - Accelerating Linear Recurrent Neural Networks for the Edge with Unstructured Sparsity [39.483346492111515]
線形リカレントニューラルネットワークは、推論中に一定のメモリ使用量と時間毎の時間を含む強力な長距離シーケンスモデリングを可能にする。
非構造化空間は、互換性のあるハードウェアプラットフォームによって加速されるときに、計算とメモリの要求を大幅に削減できる魅力的なソリューションを提供する。
非常に疎い線形RNNは、高密度ベースラインよりも高い効率と性能のトレードオフを一貫して達成している。
論文 参考訳(メタデータ) (2025-02-03T13:09:21Z) - SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳(メタデータ) (2023-06-13T08:57:54Z) - Pushing the Limits of Asynchronous Graph-based Object Detection with
Event Cameras [62.70541164894224]
低計算を維持しながら、そのようなモデルの深さと複雑さを拡大できるアーキテクチャ選択をいくつか導入する。
我々の手法は、密度の高いグラフニューラルネットワークよりも3.7倍高速に動作し、前方通過はわずか8.4msである。
論文 参考訳(メタデータ) (2022-11-22T15:14:20Z) - Towards Memory-Efficient Neural Networks via Multi-Level in situ
Generation [10.563649948220371]
ディープニューラルネットワーク(DNN)は、様々なタスクにおいて優れたパフォーマンスを示している。
それらが急速に進化するにつれて、そのエスカレーション計算とメモリ要求により、リソースに制約のあるエッジデバイスへのデプロイが困難になる。
超高速なオンチップ計算で高価なメモリトランザクションを交換するための汎用的で統一的なフレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-25T18:50:24Z) - FuSeConv: Fully Separable Convolutions for Fast Inference on Systolic
Arrays [2.8583189395674653]
本稿では,深度的に分離可能な畳み込みの代替としてFuSeConvを提案する。
FuSeConvは、空間次元と深さ次元に沿って分離可能な1次元の畳み込みを完全に分解する。
我々は、画像Netデータセットに匹敵する精度で、64x64サイズのシストリックアレイ上で、MobileNetのネットワークファミリで3x-7xの大幅な高速化を実現した。
論文 参考訳(メタデータ) (2021-05-27T20:19:39Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳(メタデータ) (2021-03-08T03:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。