論文の概要: SpikingNeRF: Making Bio-inspired Neural Networks See through the Real World
- arxiv url: http://arxiv.org/abs/2309.10987v4
- Date: Tue, 19 Nov 2024 10:55:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-20 13:34:54.744340
- Title: SpikingNeRF: Making Bio-inspired Neural Networks See through the Real World
- Title（参考訳）: SpikingNeRF:バイオインスパイアされたニューラルネットワークが現実世界を視認する
- Authors: Xingting Yao, Qinghao Hu, Fei Zhou, Tielong Liu, Zitao Mo, Zeyu Zhu, Zhengyang Zhuge, Jian Cheng,
- Abstract要約: 本稿では、スパイキングニューラルネットワーク(SNN)の時間次元を放射光に合わせるスパイキングNeRFを提案する。
計算はスパイクベースで乗算のない方式に変わり、エネルギー消費を減らし、ニューロモルフィックなハードウェアで高品質な3Dレンダリングを可能にする。
- 参考スコア（独自算出の注目度）: 19.696976370895907
- License:
- Abstract: In this paper, we propose SpikingNeRF, which aligns the temporal dimension of spiking neural networks (SNNs) with the radiance rays, to seamlessly accommodate SNNs to the reconstruction of neural radiance fields (NeRF). Thus, the computation turns into a spike-based, multiplication-free manner, reducing energy consumption and making high-quality 3D rendering, for the first time, accessible to neuromorphic hardware. In SpikingNeRF, each sampled point on the ray is matched to a particular time step and represented in a hybrid manner where the voxel grids are maintained as well. Based on the voxel grids, sampled points are determined whether to be masked out for faster training and inference. However, this masking operation also incurs irregular temporal length, making it intractable for hardware processors, e.g., GPUs, to conduct parallel training. To address this problem, we develop the temporal padding strategy to tackle the masked samples to maintain regular temporal length, i.e., regular tensors, and further propose the temporal condensing strategy to form a denser data structure for hardware-friendly computation. Experiments on various datasets demonstrate that our method can reduce energy consumption by an average of 70.79\% and obtain comparable synthesis quality with the ANN baseline. Verification on the neuromorphic hardware accelerator also shows that SpikingNeRF can further benefit from neuromorphic computing over the ANN baselines on energy efficiency. Codes and the appendix are in \url{https://github.com/Ikarosy/SpikingNeRF-of-CASIA}.
- Abstract（参考訳）: 本稿では、スパイキングニューラルネットワーク(SNN)の時間次元を放射光と整合させるスパイキングNeRFを提案し、ニューラルレイディアンスフィールド(NeRF)の再構成にSNNをシームレスに適応させる。
したがって、計算はスパイクベースで乗算のない方式に変わり、エネルギー消費を減らし、高品質な3Dレンダリングを初めて、ニューロモルフィックなハードウェアにアクセスできるようにした。
SpikingNeRFでは、光線上の各サンプリング点が特定の時間ステップに一致し、ボクセルグリッドも維持されるハイブリッドな方法で表現される。
ボクセルグリッドに基づいて、より高速なトレーニングと推論のために、サンプルポイントをマスクアウトするかを判定する。
しかし、このマスキング操作は、不規則な時間長も発生し、ハードウェアプロセッサ、例えばGPUが並列トレーニングを実行できる。
この問題に対処するため,通常のテンソルなどの時間的時間的長さを維持するためにマスク付きサンプルに対処する時間的パディング戦略を開発し,さらにハードウェアフレンドリな計算のためのより高密度なデータ構造を形成するための時間的凝縮戦略を提案する。
各種データセットを用いた実験により, 提案手法は平均70.79 %のエネルギー消費を低減し, ANNベースラインと同等の合成品質が得られることが示された。
ニューロモルフィックハードウェアアクセラレーターの検証は、スパイキングNeRFがANNのエネルギー効率に基づくニューロモルフィックコンピューティングの恩恵を受けることも示している。
コードと付録は \url{https://github.com/Ikarosy/SpikingNeRF-of-CASIA} にある。
関連論文リスト
- Signal-SGN: A Spiking Graph Convolutional Network for Skeletal Action Recognition via Learning Temporal-Frequency Dynamics [2.9578022754506605]
骨格に基づく行動認識では、グラフ畳み込みネットワーク(GCN)はその複雑さと高エネルギー消費のために制限に直面している。
本稿では、骨格配列の時間次元をスパイキング時間ステップとして活用するSignal-SGN(Spiking Graph Convolutional Network)を提案する。
実験により,提案モデルが既存のSNN法を精度で上回るだけでなく,学習時の計算記憶コストも低減できることがわかった。
論文 参考訳（メタデータ） (2024-08-03T07:47:16Z) - SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance [106.0057551634008]
FreeNeRFは暗黙の幾何正規化を統合することでこの制限を克服しようとする。
新しい研究は、新しい特徴マッチングに基づくスパース幾何正規化モジュールを導入する。
モジュールは、高周波キーポイントをピンポイントすることで、詳細の完全性を保護する。
論文 参考訳（メタデータ） (2024-04-01T08:37:57Z) - Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。
深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
論文 参考訳（メタデータ） (2023-06-22T04:25:27Z) - MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。
最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
論文 参考訳（メタデータ） (2023-04-25T05:44:50Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳（メタデータ） (2022-09-29T04:06:00Z) - A temporally and spatially local spike-based backpropagation algorithm
to enable training in hardware [0.0]
Spiking Neural Networks (SNN)は、分類タスクのためのハードウェア効率の良いアーキテクチャとして登場した。
非スパイキング人工ニューラルネットワーク(ANN)で使用される強力なバックプロパゲーション(BP)技術を採用する試みはいくつかある。
論文 参考訳（メタデータ） (2022-07-20T08:57:53Z) - Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern
Recognition on Neuromorphic Hardware [50.380319968947035]
近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。
文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。
フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。
LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
論文 参考訳（メタデータ） (2022-05-30T14:30:45Z) - Event-based Video Reconstruction via Potential-assisted Spiking Neural
Network [48.88510552931186]
バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。
完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。
スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
論文 参考訳（メタデータ） (2022-01-25T02:05:20Z) - WaveSense: Efficient Temporal Convolutions with Spiking Neural Networks
for Keyword Spotting [1.0152838128195467]
拡張時間畳み込みの自然な代替としてスパイキングニューラルダイナミクスを提案する。
このアイデアをWaveNetアーキテクチャにインスパイアされたスパイクニューラルネットワークであるWaveSenseに拡張します。
論文 参考訳（メタデータ） (2021-11-02T09:38:22Z) - An optimised deep spiking neural network architecture without gradients [7.183775638408429]
本稿では、局所シナプスおよびしきい値適応ルールを用いたエンドツーエンドのトレーニング可能なモジュラーイベント駆動ニューラルアーキテクチャを提案する。
このアーキテクチャは、既存のスパイキングニューラルネットワーク(SNN)アーキテクチャの高度に抽象化されたモデルを表している。
論文 参考訳（メタデータ） (2021-09-27T05:59:12Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。