論文の概要: Efficient 3D Recognition with Event-driven Spike Sparse Convolution
- arxiv url: http://arxiv.org/abs/2412.07360v1
- Date: Tue, 10 Dec 2024 09:55:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-11 14:37:06.496357
- Title: Efficient 3D Recognition with Event-driven Spike Sparse Convolution
- Title（参考訳）: イベント駆動スパイクスパース畳み込みによる高能率3次元認識
- Authors: Xuerui Qiu, Man Yao, Jieyuan Zhang, Yuhong Chou, Ning Qiao, Shibo Zhou, Bo Xu, Guoqi Li,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は3次元時間的特徴を抽出するエネルギー効率の良い方法を提供する。
本稿では3次元点雲をスパーススパイクトレイン空間に符号化するスパイクVoxel Coding(SVC)方式を提案する。
本稿では,3次元スパース・クラウドの特徴を効率的に抽出するスパイクスパース・コンボリューション(SSC)モデルを提案する。
- 参考スコア（独自算出の注目度）: 15.20476631850388
- License:
- Abstract: Spiking Neural Networks (SNNs) provide an energy-efficient way to extract 3D spatio-temporal features. Point clouds are sparse 3D spatial data, which suggests that SNNs should be well-suited for processing them. However, when applying SNNs to point clouds, they often exhibit limited performance and fewer application scenarios. We attribute this to inappropriate preprocessing and feature extraction methods. To address this issue, we first introduce the Spike Voxel Coding (SVC) scheme, which encodes the 3D point clouds into a sparse spike train space, reducing the storage requirements and saving time on point cloud preprocessing. Then, we propose a Spike Sparse Convolution (SSC) model for efficiently extracting 3D sparse point cloud features. Combining SVC and SSC, we design an efficient 3D SNN backbone (E-3DSNN), which is friendly with neuromorphic hardware. For instance, SSC can be implemented on neuromorphic chips with only minor modifications to the addressing function of vanilla spike convolution. Experiments on ModelNet40, KITTI, and Semantic KITTI datasets demonstrate that E-3DSNN achieves state-of-the-art (SOTA) results with remarkable efficiency. Notably, our E-3DSNN (1.87M) obtained 91.7\% top-1 accuracy on ModelNet40, surpassing the current best SNN baselines (14.3M) by 3.0\%. To our best knowledge, it is the first direct training 3D SNN backbone that can simultaneously handle various 3D computer vision tasks (e.g., classification, detection, and segmentation) with an event-driven nature. Code is available: https://github.com/bollossom/E-3DSNN/.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は3次元時空間の特徴を抽出するエネルギー効率の良い方法を提供する。
点雲はスパースな3次元空間データであり、これはSNNがそれらを処理するのに適していることを示唆している。
しかしながら、ポイントクラウドにSNNを適用すると、パフォーマンスが制限され、アプリケーションのシナリオが少なくなることが多い。
これは不適切な前処理と特徴抽出の方法によるものである。
この問題に対処するために、まずSpike Voxel Coding (SVC) スキームを導入し、3Dポイントの雲をスパーススパイクトレイン空間に符号化し、ストレージの要求を減らし、ポイントクラウド前処理にかかる時間を短縮する。
そこで本研究では,3次元スパース・クラウドの特徴を効率的に抽出するスパイクスパース・コンボリューション(SSC)モデルを提案する。
SVCとSSCを組み合わせることで、ニューロモルフィックハードウェアと親和性のある効率的な3D SNNバックボーン(E-3DSNN)を設計する。
例えば、SSCは、バニラスパイク畳み込みのアドレッシング機能に小さな変更を加えるだけで、ニューロモルフィックチップに実装することができる。
ModelNet40、KITTI、Semantic KITTIデータセットの実験は、E-3DSNNが最先端(SOTA)の結果を驚くほど効率よく達成することを示した。
特に、私たちのE-3DSNN (1.87M) は ModelNet40 で91.7\% のトップ-1 の精度を獲得し、現在の最高の SNN ベースライン (14.3M) を 3.0\% 上回った。
我々の知る限り、3D SNNバックボーンは、様々な3Dコンピュータビジョンタスク(例えば、分類、検出、セグメンテーション)をイベント駆動的な性質で同時に扱うことができる。
コードは、https://github.com/bollossom/E-3DSNN/.comで入手できる。
関連論文リスト
- Scaling Spike-driven Transformer with Efficient Spike Firing Approximation Training [17.193023656793464]
脳にインスパイアされたスパイキングニューラルネットワーク(SNN)の野望は、従来のニューラルネットワーク(ANN)に代わる低消費電力な代替手段になることである。
この作業は、SNNとANNのパフォーマンスギャップと、SNNの高トレーニングコストという、このビジョンを実現する上での2つの大きな課題に対処する。
本研究では,2次発火機構によるスパイクニューロンの固有の欠陥を同定し,整数学習とスパイク駆動推論を用いたスパイクフィリング近似(SFA)法を提案する。
論文 参考訳（メタデータ） (2024-11-25T03:05:41Z) - LION: Linear Group RNN for 3D Object Detection in Point Clouds [85.97541374148508]
本稿では,LInear grOup RNN上に構築されたウィンドウベースフレームワークを提案する。
3次元空間特徴記述器を導入し,それを線形群 RNN 演算子に統合して空間特徴を増強する。
高分散点雲の課題にさらに対処するため,前景の特徴を密度化するための3次元ボクセル生成戦略を提案する。
論文 参考訳（メタデータ） (2024-07-25T17:50:32Z) - ANN vs SNN: A case study for Neural Decoding in Implantable
Brain-Machine Interfaces [0.7904805552920349]
本研究では,運動復号化のための異なるニューラルネットワーク(NN)を精度と実装コストの観点から比較する。
さらに,従来の信号処理技術と機械学習技術を組み合わせることで,単純なNNでも驚くほど優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2023-12-26T05:40:39Z) - Swin3D: A Pretrained Transformer Backbone for 3D Indoor Scene
Understanding [40.68012530554327]
室内3Dシーン理解のための3DバックボーンであるSSTを導入する。
我々は,線形メモリの複雑さを伴うスパースボクセルの自己アテンションを効率的に行える3Dスウィントランスを,バックボーンネットワークとして設計する。
我々のアプローチによって実現されたスケーラビリティ、汎用性、優れたパフォーマンスをさらに検証する大規模なアブレーション研究のシリーズである。
論文 参考訳（メタデータ） (2023-04-14T02:49:08Z) - MLGCN: An Ultra Efficient Graph Convolution Neural Model For 3D Point
Cloud Analysis [4.947552172739438]
グラフニューラルネットワーク(GNN)ブロックを用いて,特定の局所レベルの3次元点雲から特徴を抽出する,MLGCN(Multi-level Graph Convolution Neural)モデルを提案する。
提案手法は,浮動小数点演算(FLOP)の最大1000倍の削減と,ストレージ要求の大幅な削減を図りながら,最先端モデルに匹敵する結果をもたらす。
論文 参考訳（メタデータ） (2023-03-31T00:15:22Z) - Using a Waffle Iron for Automotive Point Cloud Semantic Segmentation [66.6890991207065]
スパース3D畳み込みは、ディープニューラルネットワークを構築するためのデファクトツールとなっている。
本稿では,スパース畳み込みを必要とせず,最先端の手法に到達できる方法を提案する。
このような性能のレベルは、大規模かつ高性能な3D知覚に相応しいツールに依存して達成可能であることを示す。
論文 参考訳（メタデータ） (2023-01-24T16:10:08Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。
焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。
スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
論文 参考訳（メタデータ） (2022-04-26T17:34:10Z) - 3D CNNs with Adaptive Temporal Feature Resolutions [83.43776851586351]
similarity Guided Sampling (SGS)モジュールは既存のCNNアーキテクチャにプラグインできる。
SGSは、時間的特徴の類似性を学び、類似した特徴をまとめることで、3D CNNに権限を与える。
評価の結果,提案モジュールは精度を保ちながら計算コスト(GFLOP)を半分に減らし,最先端化を実現していることがわかった。
論文 参考訳（メタデータ） (2020-11-17T14:34:05Z) - PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection [76.30585706811993]
我々はPointVoxel-RCNN(PV-RCNN)という新しい高性能な3Dオブジェクト検出フレームワークを提案する。
提案手法は3次元ボクセル畳み込みニューラルネットワーク(CNN)とPointNetベースの集合抽象化の両方を深く統合する。
3DボクセルCNNの効率的な学習と高品質な提案と、PointNetベースのネットワークのフレキシブル・レセプティブ・フィールドを利用する。
論文 参考訳（メタデータ） (2019-12-31T06:34:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。