論文の概要: Spiking NeRF: Making Bio-inspired Neural Networks See through the Real World

• arxiv url: http://arxiv.org/abs/2309.10987v1
• Date: Wed, 20 Sep 2023 01:04:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 13:18:24.978311
• Title: Spiking NeRF: Making Bio-inspired Neural Networks See through the Real World
• Title（参考訳）: バイオインスパイアされたニューラルネットワークを現実世界で見る「Spking NeRF」
• Authors: Xingting Yao, Qinghao Hu, Tielong Liu, Zitao Mo, Zeyu Zhu, Zhengyang Zhuge, Jian Cheng
• Abstract要約: スパイキングニューロンネットワーク(SNN)は、その有望なエネルギー効率を活用するために多くのタスクに取り組んできた。 NeRFは高画質の3Dシーンを大量のエネルギー消費でレンダリングする。 本稿では,SNN を放射界の再構成に自然に適応させるスパイク NeRF (SpikingNeRF) を提案する。
• 参考スコア（独自算出の注目度）: 17.235184420475615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neuron networks (SNNs) have been thriving on numerous tasks to leverage their promising energy efficiency and exploit their potentialities as biologically plausible intelligence. Meanwhile, the Neural Radiance Fields (NeRF) render high-quality 3D scenes with massive energy consumption, and few works delve into the energy-saving solution with a bio-inspired approach. In this paper, we propose spiking NeRF (SpikingNeRF), which aligns the radiance ray with the temporal dimension of SNN, to naturally accommodate the SNN to the reconstruction of Radiance Fields. Thus, the computation turns into a spike-based, multiplication-free manner, reducing the energy consumption. In SpikingNeRF, each sampled point on the ray is matched onto a particular time step, and represented in a hybrid manner where the voxel grids are maintained as well. Based on the voxel grids, sampled points are determined whether to be masked for better training and inference. However, this operation also incurs irregular temporal length. We propose the temporal condensing-and-padding (TCP) strategy to tackle the masked samples to maintain regular temporal length, i.e., regular tensors, for hardware-friendly computation. Extensive experiments on a variety of datasets demonstrate that our method reduces the $76.74\%$ energy consumption on average and obtains comparable synthesis quality with the ANN baseline.
• Abstract（参考訳）: スパイキングニューロンネットワーク(snn)は、その有望なエネルギー効率を活用し、その潜在能力を生物学的に有望な知性として活用するために、多くのタスクに取り組んできた。 一方、neural radiance fields(nerf)は、大量のエネルギー消費を伴う高品質の3dシーンをレンダリングし、バイオインスパイアされたアプローチで省エネソリューションに取り組んだ作品はほとんどない。 本稿では,SNNの時間次元と放射光を一致させるスパイキングNeRF(SpikingNeRF)を提案する。 したがって、計算はスパイクベースで乗算のない方法に変わり、エネルギー消費を減少させる。 SpikingNeRFでは、光線上の各サンプリング点が特定の時間ステップに一致し、ボクセルグリッドも維持されるハイブリッドな方法で表現される。 ボクセルグリッドに基づいて、よりよいトレーニングと推論のためにマスキングするかどうかのサンプルポイントが決定される。 しかし、この操作には不規則な時間的長さも伴う。 ハードウェアフレンドリーな計算のために,マスクされたサンプルを用いて時間的長さ,すなわち正時テンソルを維持するためのTCP戦略を提案する。 様々なデータセットに対する大規模な実験により、我々の手法は平均で76.74 %のエネルギー消費を削減し、ANNベースラインと同等の合成品質を得ることを示した。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Spatial Annealing for Efficient Few-shot Neural Rendering [73.49548565633123]
  我々はtextbfSpatial textbf Annealing regularized textbfNeRF (textbfSANeRF) という,正確で効率的な数発のニューラルレンダリング手法を導入する。 単に1行のコードを追加することで、SANeRFは、現在の数ショットのニューラルレンダリング方法と比較して、より優れたレンダリング品質とはるかに高速な再構築速度を提供する。
  論文  参考訳（メタデータ） (2024-06-12T02:48:52Z)
• Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
  スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。 深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
  論文  参考訳（メタデータ） (2023-06-22T04:25:27Z)
• MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
  MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。 最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
  論文  参考訳（メタデータ） (2023-04-25T05:44:50Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• A temporally and spatially local spike-based backpropagation algorithm to enable training in hardware [0.0]
  Spiking Neural Networks (SNN)は、分類タスクのためのハードウェア効率の良いアーキテクチャとして登場した。 非スパイキング人工ニューラルネットワーク(ANN)で使用される強力なバックプロパゲーション(BP)技術を採用する試みはいくつかある。
  論文  参考訳（メタデータ） (2022-07-20T08:57:53Z)
• Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware [50.380319968947035]
  近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。 文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。 フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。 LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
  論文  参考訳（メタデータ） (2022-05-30T14:30:45Z)
• Event-based Video Reconstruction via Potential-assisted Spiking Neural Network [48.88510552931186]
  バイオインスパイアされたニューラルネットワークは、イベント駆動ハードウェア上での計算効率の向上につながる可能性がある。 完全スパイキングニューラルネットワーク(EVSNN)に基づくイベントベースビデオ再構成フレームワークを提案する。 スパイクニューロンは、そのような時間依存タスクを完了させるために有用な時間情報(メモリ)を格納する可能性がある。
  論文  参考訳（メタデータ） (2022-01-25T02:05:20Z)
• Learning Wave Propagation with Attention-Based Convolutional Recurrent Autoencoder Net [0.0]
  本稿では、波動伝播現象のデータ駆動モデリングのための、エンド・ツー・エンドの注意に基づく畳み込み再帰型オートエンコーダ(AB-CRAN)ネットワークを提案する。 波動伝搬に時間依存の双曲偏微分方程式で与えられる全階スナップショットから、デノナイジングに基づく畳み込みオートエンコーダを用いる。 注意に基づくシーケンス・ツー・シーケンス・ネットワークは、通常のRNN-LSTMと比較して、予測の時間-水平を5倍増加させる。
  論文  参考訳（メタデータ） (2022-01-17T20:51:59Z)
• WaveSense: Efficient Temporal Convolutions with Spiking Neural Networks for Keyword Spotting [1.0152838128195467]
  拡張時間畳み込みの自然な代替としてスパイキングニューラルダイナミクスを提案する。 このアイデアをWaveNetアーキテクチャにインスパイアされたスパイクニューラルネットワークであるWaveSenseに拡張します。
  論文  参考訳（メタデータ） (2021-11-02T09:38:22Z)
• An optimised deep spiking neural network architecture without gradients [7.183775638408429]
  本稿では、局所シナプスおよびしきい値適応ルールを用いたエンドツーエンドのトレーニング可能なモジュラーイベント駆動ニューラルアーキテクチャを提案する。 このアーキテクチャは、既存のスパイキングニューラルネットワーク(SNN)アーキテクチャの高度に抽象化されたモデルを表している。
  論文  参考訳（メタデータ） (2021-09-27T05:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。