論文の概要: SpNeRF: Memory Efficient Sparse Volumetric Neural Rendering Accelerator for Edge Devices

• arxiv url: http://arxiv.org/abs/2505.08191v1
• Date: Tue, 13 May 2025 03:00:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.404109
• Title: SpNeRF: Memory Efficient Sparse Volumetric Neural Rendering Accelerator for Edge Devices
• Title（参考訳）: SpNeRF:エッジデバイスのためのメモリ効率の良いスパースボリュームニューラルレンダリング加速器
• Authors: Yipu Zhang, Jiawei Liang, Jian Peng, Jiang Xu, Wei Zhang,
• Abstract要約: 本稿では,スパース・ボリューム・ニューラルレンダリングに適したソフトウェアとハードウェアの共同設計ソリューションであるSpNeRFを紹介する。 まず、メモリバウンドレンダリングの非効率性を同定し、ニューラルレンダリングのボクセルグリッドデータに固有の空間性を解析する。 本稿では,ボクセルグリッドのメモリサイズを削減し,新しいプリプロセッシングとオンラインデコード手順を提案する。
• 参考スコア（独自算出の注目度）: 11.938302397689998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural rendering has gained prominence for its high-quality output, which is crucial for AR/VR applications. However, its large voxel grid data size and irregular access patterns challenge real-time processing on edge devices. While previous works have focused on improving data locality, they have not adequately addressed the issue of large voxel grid sizes, which necessitate frequent off-chip memory access and substantial on-chip memory. This paper introduces SpNeRF, a software-hardware co-design solution tailored for sparse volumetric neural rendering. We first identify memory-bound rendering inefficiencies and analyze the inherent sparsity in the voxel grid data of neural rendering. To enhance efficiency, we propose novel preprocessing and online decoding steps, reducing the memory size for voxel grid. The preprocessing step employs hash mapping to support irregular data access while maintaining a minimal memory size. The online decoding step enables efficient on-chip sparse voxel grid processing, incorporating bitmap masking to mitigate PSNR loss caused by hash collisions. To further optimize performance, we design a dedicated hardware architecture supporting our sparse voxel grid processing technique. Experimental results demonstrate that SpNeRF achieves an average 21.07$\times$ reduction in memory size while maintaining comparable PSNR levels. When benchmarked against Jetson XNX, Jetson ONX, RT-NeRF.Edge and NeuRex.Edge, our design achieves speedups of 95.1$\times$, 63.5$\times$, 1.5$\times$ and 10.3$\times$, and improves energy efficiency by 625.6$\times$, 529.1$\times$, 4$\times$, and 4.4$\times$, respectively.
• Abstract（参考訳）: ニューラルレンダリングは、AR/VRアプリケーションにとって欠かせない高品質な出力で有名になった。 しかし、その大きなボクセルグリッドデータサイズと不規則なアクセスパターンは、エッジデバイスのリアルタイム処理に挑戦する。 これまでの研究はデータのローカリティ向上に重点を置いていたが、大規模なボクセルグリッドサイズの問題に対処するには、頻繁にオフチップメモリにアクセスし、相当なオンチップメモリを必要とする。 本稿では,スパース・ボリューム・ニューラルレンダリングに適したソフトウェア・ハードウェア共同設計ソリューションであるSpNeRFを紹介する。 まず、メモリバウンドレンダリングの非効率性を同定し、ニューラルレンダリングのボクセルグリッドデータに固有の空間性を解析する。 効率を向上させるために,新しいプリプロセッシングとオンラインデコード手順を提案し,ボクセルグリッドのメモリサイズを削減した。 前処理ステップではハッシュマッピングを使用して、最小限のメモリサイズを維持しながら不規則なデータアクセスをサポートする。 オンラインデコーディングステップにより、効率的なオンチップスパースボクセルグリッド処理が可能となり、ビットマップマスキングを導入して、ハッシュ衝突によるPSNR損失を軽減できる。 性能をさらに最適化するために、スパースボクセルグリッド処理技術をサポートする専用ハードウェアアーキテクチャを設計する。 実験の結果、SpNeRFは、同等のPSNRレベルを維持しながら、平均21.07$\times$のメモリサイズ削減を実現している。 Jetson XNX, Jetson ONX, RT-NeRF.Edge, NeuRex.Edgeに対してベンチマークすると, 95.1$\times$, 63.5$\times$, 1.5$\times$, 10.3$\times$, 625.6$\times$, 529.1$\times$, 4$\times$, 4.4$\times$のスピードアップが達成される。

関連論文リスト

• DnLUT: Ultra-Efficient Color Image Denoising via Channel-Aware Lookup Tables [60.95483707212802]
  DnLUTは、リソース消費を最小限に抑えながら高品質なカラーイメージを実現する、超効率的なルックアップテーブルベースのフレームワークである。 Pairwise Channel Mixer(PCM)は、チャネル間の相関関係と空間的依存関係を並列に効果的にキャプチャし、L字型畳み込み設計により受容界のカバレッジを最大化する。 これらのコンポーネントをトレーニング後に最適化されたルックアップテーブルに変換することで、DnLUTは、CNNの競合であるDnCNNと比較して500KBのストレージと0.1%のエネルギー消費しか必要とせず、20倍高速な推論を実現している。
  論文  参考訳（メタデータ） (2025-03-20T08:15:29Z)
• Accelerating Linear Recurrent Neural Networks for the Edge with Unstructured Sparsity [39.483346492111515]
  線形リカレントニューラルネットワークは、推論中に一定のメモリ使用量と時間毎の時間を含む強力な長距離シーケンスモデリングを可能にする。 非構造化空間は、互換性のあるハードウェアプラットフォームによって加速されるときに、計算とメモリの要求を大幅に削減できる魅力的なソリューションを提供する。 非常に疎い線形RNNは、高密度ベースラインよりも高い効率と性能のトレードオフを一貫して達成している。
  論文  参考訳（メタデータ） (2025-02-03T13:09:21Z)
• Rapid-INR: Storage Efficient CPU-free DNN Training Using Implicit Neural Representation [7.539498729072623]
  Implicit Neural Representation (INR) は、複雑な形状や物体を、その形状や表面構造を明確に定義せずに表現するための革新的なアプローチである。 従来の研究では、画像圧縮のINRとしてニューラルネットワークを使用することの有効性が実証されており、JPEGのような従来の手法に匹敵する性能を示している。 本稿では、画像のエンコーディングと圧縮にINRを利用する新しいアプローチであるRapid-INRを紹介し、コンピュータビジョンタスクにおけるニューラルネットワークトレーニングを高速化する。
  論文  参考訳（メタデータ） (2023-06-29T05:49:07Z)
• MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
  MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。 最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
  論文  参考訳（メタデータ） (2023-04-25T05:44:50Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Adaptive Filters and Aggregator Fusion for Efficient Graph Convolutions [11.769185588579488]
  本稿では,アクセル実装に適した特性とともに,メモリ消費と遅延を低減した最先端性能を示す。 提案手法は,エッジ数に比例するメモリを必要とする競合手法とは対照的に,グラフ内の頂点数に比例するメモリを用いる。 GNNが表現力を大幅に高める技術であるアグリゲーター融合を提案し、標準のスパース行列乗算よりも19%の遅延がわずかに増加している。
  論文  参考訳（メタデータ） (2021-04-03T20:54:36Z)
• Ordering Chaos: Memory-Aware Scheduling of Irregularly Wired Neural Networks for Edge Devices [10.876317610988059]
  我々は、SERENITYと呼ばれるメモリ認識コンパイラを提案し、最適なメモリフットプリントでスケジュールを見つけるシーケンスを見つける。 私たちのソリューションは、最適値を超えたさらなる削減を可能にするグラフ書き換え技術も備えています。
  論文  参考訳（メタデータ） (2020-03-04T23:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。