論文の概要: Spiking PointNet: Spiking Neural Networks for Point Clouds
- arxiv url: http://arxiv.org/abs/2310.06232v1
- Date: Tue, 10 Oct 2023 00:59:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 21:06:34.812015
- Title: Spiking PointNet: Spiking Neural Networks for Point Clouds
- Title（参考訳）: Spiking PointNet: ポイントクラウドのためのスパイクニューラルネットワーク
- Authors: Dayong Ren, Zhe Ma, Yuanpei Chen, Weihang Peng, Xiaode Liu, Yuhan
Zhang, Yufei Guo
- Abstract要約: Spiking PointNetは、ポイントクラウド上の効率的なディープラーニングのための、最初のスパイクニューラルネットワークモデルである。
私たちのSpking PointNetは、たった1つのタイムステップでトレーニングされていますが、複数のタイムステップ推論でより良いパフォーマンスを得ることができるのです。
私たちのSpking PointNetは、SNNの分野では珍しいANNよりも優れています。
- 参考スコア（独自算出の注目度）: 15.934361665062584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, Spiking Neural Networks (SNNs), enjoying extreme energy efficiency,
have drawn much research attention on 2D visual recognition and shown gradually
increasing application potential. However, it still remains underexplored
whether SNNs can be generalized to 3D recognition. To this end, we present
Spiking PointNet in the paper, the first spiking neural model for efficient
deep learning on point clouds. We discover that the two huge obstacles limiting
the application of SNNs in point clouds are: the intrinsic optimization
obstacle of SNNs that impedes the training of a big spiking model with large
time steps, and the expensive memory and computation cost of PointNet that
makes training a big spiking point model unrealistic. To solve the problems
simultaneously, we present a trained-less but learning-more paradigm for
Spiking PointNet with theoretical justifications and in-depth experimental
analysis. In specific, our Spiking PointNet is trained with only a single time
step but can obtain better performance with multiple time steps inference,
compared to the one trained directly with multiple time steps. We conduct
various experiments on ModelNet10, ModelNet40 to demonstrate the effectiveness
of Spiking PointNet. Notably, our Spiking PointNet even can outperform its ANN
counterpart, which is rare in the SNN field thus providing a potential research
direction for the following work. Moreover, Spiking PointNet shows impressive
speedup and storage saving in the training phase.
- Abstract（参考訳）: 近年、エネルギー効率が極端に高いスパイキングニューラルネットワーク(SNN)は、2次元視覚認識に多くの研究関心を集め、徐々に応用可能性を高めている。
しかし、SNNが3D認識に一般化できるかどうかはまだ解明されていない。
そこで本研究では,ポイントクラウド上の効率的な深層学習のための最初のスパイキングニューラルモデルであるspyking pointnetについて述べる。
ポイントクラウドにおけるSNNの適用を制限する2つの大きな障害は、大きなタイムステップを持つ大きなスパイクモデルのトレーニングを妨げるSNNの本質的な最適化障害と、大きなスパイクポイントモデルのトレーニングを非現実的にするPointNetの高価なメモリと計算コストである。
この問題を同時に解くために、理論的正当化と詳細な実験分析によるSpike PointNetの学習パラダイムを提案する。
具体的には、spiking pointnetは単一のタイムステップでトレーニングされていますが、複数のタイムステップで直接トレーニングされたものよりも、複数のタイムステップの推論でより良いパフォーマンスを得ることができます。
スパイキングポイントネットの有効性を実証するために,ModelNet10,ModelNet40の様々な実験を行った。
私たちのSpking PointNetは、SNN分野では珍しいANNよりも優れています。
さらに、spiking pointnetはトレーニングフェーズで驚くべきスピードアップとストレージの節約を示す。
関連論文リスト
- Spiking CenterNet: A Distillation-boosted Spiking Neural Network for Object Detection [15.043707655842592]
スパイキングニューラルネットワーク(SNN)はこの課題に対処するための有望なアプローチである。
本稿では,イベントデータに対するオブジェクト検出のためのSpking CenterNetを提案する。
我々の研究は、スパイク物体検出の分野で知識蒸留を利用する最初のアプローチである。
論文 参考訳（メタデータ） (2024-02-02T10:23:03Z) - Rethinking Residual Connection in Training Large-Scale Spiking Neural
Networks [10.286425749417216]
スパイキングニューラルネットワーク(SNN)は、最も有名な脳にインスパイアされたモデルとして知られている。
非微分可能なスパイク機構により、大規模SNNの訓練が困難になる。
論文 参考訳（メタデータ） (2023-11-09T06:48:29Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - PointAttN: You Only Need Attention for Point Cloud Completion [89.88766317412052]
ポイント・クラウド・コンプリート(Point cloud completion)とは、部分的な3次元ポイント・クラウドから3次元の形状を完成させることである。
そこで我々は,kNNを除去するために,ポイントクラウドをポイント単位に処理する新しいニューラルネットワークを提案する。
提案するフレームワークであるPointAttNはシンプルで簡潔で効果的であり、3次元形状の構造情報を正確に捉えることができる。
論文 参考訳（メタデータ） (2022-03-16T09:20:01Z) - FatNet: A Feature-attentive Network for 3D Point Cloud Processing [1.502579291513768]
本稿では,グローバルポイントベースの機能とエッジベースの機能を組み合わせた,新たな機能指向ニューラルネットワーク層であるfat layerを提案する。
当社のアーキテクチャは,ModelNet40データセットで示すように,ポイントクラウド分類のタスクにおける最先端の成果を達成する。
論文 参考訳（メタデータ） (2021-04-07T23:13:56Z) - NetAdaptV2: Efficient Neural Architecture Search with Fast Super-Network
Training and Architecture Optimization [15.63765190153914]
NetAdaptV2には、3つのイノベーションがあり、各ステップに費やす時間をバランスさせながら、差別化不可能な検索メトリクスをサポートします。
まず,ネットワーク深度と層幅を1つの検索次元にマージするチャネルレベルのバイパス接続を提案する。
第2に,複数のdnnを単一のフォワードバックパスでトレーニングし,スーパーネットワークのトレーニング時間を短縮するために,順序付きドロップアウトを提案する。
論文 参考訳（メタデータ） (2021-03-31T18:03:46Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - Attentive Graph Neural Networks for Few-Shot Learning [74.01069516079379]
グラフニューラルネットワーク(GNN)は、数ショットの学習タスクを含む多くの困難なアプリケーションにおいて、優れたパフォーマンスを示している。
少数のサンプルからモデルを学習し、一般化する能力があるにもかかわらず、GNNは通常、モデルが深くなるにつれて、過度な過度な適合と過度なスムーシングに悩まされる。
本稿では,三重注意機構を組み込むことにより,これらの課題に対処するための新しい注意型GNNを提案する。
論文 参考訳（メタデータ） (2020-07-14T07:43:09Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。