論文の概要: SpikingNeRF: Making Bio-inspired Neural Networks See through the Real
World
- arxiv url: http://arxiv.org/abs/2309.10987v2
- Date: Sat, 28 Oct 2023 15:51:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 20:15:57.264290
- Title: SpikingNeRF: Making Bio-inspired Neural Networks See through the Real
World
- Title(参考訳): SpikingNeRF:バイオインスパイアされたニューラルネットワークを現実世界で見る
- Authors: Xingting Yao, Qinghao Hu, Tielong Liu, Zitao Mo, Zeyu Zhu, Zhengyang
Zhuge, Jian Cheng
- Abstract要約: 本稿では,SNNの時間次元と放射光を一致させて放射場を再構成するSpikeNeRFを提案する。
各種データセットを用いた実験により, 平均70.79%のエネルギー消費を削減できた。
- 参考スコア(独自算出の注目度): 17.235184420475615
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) have been thriving on numerous tasks to
leverage their promising energy efficiency and exploit their potentialities as
biologically plausible intelligence. Meanwhile, the Neural Radiance Fields
(NeRF) render high-quality 3D scenes with massive energy consumption, but few
works delve into the energy-saving solution with a bio-inspired approach. In
this paper, we propose SpikingNeRF, which aligns the radiance ray with the
temporal dimension of SNN, to naturally accommodate the SNN to the
reconstruction of Radiance Fields. Thus, the computation turns into a
spike-based, multiplication-free manner, reducing the energy consumption. In
SpikingNeRF, each sampled point on the ray is matched onto a particular time
step, and represented in a hybrid manner where the voxel grids are maintained
as well. Based on the voxel grids, sampled points are determined whether to be
masked for better training and inference. However, this operation also incurs
irregular temporal length. We propose the temporal padding strategy to tackle
the masked samples to maintain regular temporal length, i.e., regular tensors,
and the temporal condensing strategy to form a denser data structure for
hardware-friendly computation. Extensive experiments on various datasets
demonstrate that our method reduces the 70.79\% energy consumption on average
and obtains comparable synthesis quality with the ANN baseline.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、その有望なエネルギー効率を活用し、生物学的に妥当な知性としてその可能性を活用するために、数多くのタスクに取り組んできた。
一方、Neural Radiance Fields(NeRF)は、大量のエネルギーを消費する高品質な3Dシーンをレンダリングするが、バイオインスパイアされたアプローチで省エネソリューションを掘り下げる作業はほとんどない。
本稿では,放射光線をsnnの時間次元と整合させ,snnを放射場の再構成に自然に適応させるspikingnerfを提案する。
したがって、計算はスパイクベースで乗算のない方法に変わり、エネルギー消費を減少させる。
SpikingNeRFでは、光線上の各サンプリング点が特定の時間ステップに一致し、ボクセルグリッドも維持されるハイブリッドな方法で表現される。
ボクセルグリッドに基づいて、よりよいトレーニングと推論のためにマスキングするかどうかのサンプルポイントが決定される。
しかし、この操作には不規則な時間的長さも伴う。
本稿では,正則テンソルのような正則時間長を維持するためにマスキング試料に取り組むための時間的パディング戦略と,ハードウェアフレンドリーな計算のための密度の高いデータ構造を形成する時間的凝縮戦略を提案する。
各種データセットに対する大規模な実験により, 提案手法は平均70.79 %のエネルギー消費を削減し, ANNベースラインと同等の合成品質が得られることが示された。
関連論文リスト
- Event-based Shape from Polarization with Spiking Neural Networks [5.200503222390179]
表面正規化を効果的かつ効率的に行うために,シングルタイムステップとマルチタイムステップ・スパイキング・ユニセットを導入する。
本研究は,イベントベースセンシングにおけるSNNの進歩に寄与する。
論文 参考訳(メタデータ) (2023-12-26T14:43:26Z) - VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for
Enhanced Indoor View Synthesis [51.49008959209671]
本稿では,室内ビュー合成の品質と効率を高めるために,ボリューム表現を活用する新しいアプローチであるVoxNeRFを紹介する。
我々は,空間的特徴を適応的に捉えるためにマルチレゾリューション・ハッシュ・グリッドを使用し,室内シーンの閉塞や複雑な形状を効果的に管理する。
我々は,3つの屋内データセットに対するアプローチを検証するとともに,VoxNeRFが最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2023-11-09T11:32:49Z) - Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。
提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文 参考訳(メタデータ) (2023-04-20T17:59:52Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳(メタデータ) (2022-09-29T04:06:00Z) - Event-based Video Reconstruction via Potential-assisted Spiking Neural
Network [48.88510552931186]
バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。
完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。
スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
論文 参考訳(メタデータ) (2022-01-25T02:05:20Z) - Deep inference of latent dynamics with spatio-temporal super-resolution
using selective backpropagation through time [15.648009434801885]
現代の神経インタフェースは、脳回路内の100万のニューロンの活動をアクセスすることができる。
帯域幅制限はしばしば、より大きな空間サンプリング(より多くのチャンネルやピクセル)と時間サンプリングの頻度の間のトレードオフを生み出す。
ここでは、ニューロン間の関係を利用して、ニューロン時系列における超解像を得ることが可能であることを実証する。
論文 参考訳(メタデータ) (2021-10-29T20:18:29Z) - Backpropagation with Biologically Plausible Spatio-Temporal Adjustment
For Training Deep Spiking Neural Networks [5.484391472233163]
ディープラーニングの成功は、バックプロパゲーションとは分離できない。
本研究では, 膜電位とスパイクの関係を再考する, 生体可塑性空間調整法を提案する。
次に,生物学的に妥当な時間的調整を提案し,時間的次元のスパイクを横切る誤差を伝搬させる。
論文 参考訳(メタデータ) (2021-10-17T15:55:51Z) - An optimised deep spiking neural network architecture without gradients [7.183775638408429]
本稿では、局所シナプスおよびしきい値適応ルールを用いたエンドツーエンドのトレーニング可能なモジュラーイベント駆動ニューラルアーキテクチャを提案する。
このアーキテクチャは、既存のスパイキングニューラルネットワーク(SNN)アーキテクチャの高度に抽象化されたモデルを表している。
論文 参考訳(メタデータ) (2021-09-27T05:59:12Z) - Energy-Efficient Model Compression and Splitting for Collaborative
Inference Over Time-Varying Channels [52.60092598312894]
本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。
提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
論文 参考訳(メタデータ) (2021-06-02T07:36:27Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-03-29T13:15:23Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。