論文の概要: MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table
- arxiv url: http://arxiv.org/abs/2304.12587v3
- Date: Thu, 27 Apr 2023 15:06:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 15:48:59.707631
- Title: MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table
- Title(参考訳): MF-NeRF:混合ハッシュテーブルを用いたメモリ効率の良いNeRF
- Authors: Yongjae Lee, Li Yang and Deliang Fan
- Abstract要約: ニューラル・ラディアンス・フィールド(NeRF)は、フォトリアリスティック・ノベルビューの生成において顕著な性能を示した。
メモリ効率を向上し,トレーニング時間を短縮するため,混合機能ハッシュテーブルを用いたメモリ効率の高いNeRFフレームワークであるMF-NeRFを提案する。
- 参考スコア(独自算出の注目度): 47.57081899743937
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Neural radiance field (NeRF) has shown remarkable performance in generating
photo-realistic novel views. Since the emergence of NeRF, many studies have
been conducted, among which managing features with explicit structures such as
grids has achieved exceptionally fast training by reducing the complexity of
multilayer perceptron (MLP) networks. However, storing features in dense grids
requires significantly large memory space, which leads to memory bottleneck in
computer systems and thus large training time. To address this issue, in this
work, we propose MF-NeRF, a memory-efficient NeRF framework that employs a
mixed-feature hash table to improve memory efficiency and reduce training time
while maintaining reconstruction quality. We first design a mixed-feature hash
table to adaptively mix part of multi-level feature grids into one and map it
to a single hash table. Following that, in order to obtain the correct index of
a grid point, we further design an index transformation method that transforms
indices of an arbitrary level grid to those of a canonical grid. Extensive
experiments benchmarking with state-of-the-art Instant-NGP, TensoRF, and DVGO,
indicate our MF-NeRF could achieve the fastest training time on the same GPU
hardware with similar or even higher reconstruction quality. Source code is
available at https://github.com/nfyfamr/MF-NeRF.
- Abstract(参考訳): ニューラル・ラディアンス・フィールド(NeRF)はフォトリアリスティック・ノベルビューの生成において顕著な性能を示した。
NeRFの出現以来,多層パーセプトロン(MLP)ネットワークの複雑さを減らし,グリッドなどの明示的な構造を持つ特徴を管理することで,極めて高速なトレーニングを実現している研究が数多く行われている。
しかし、高密度グリッドに格納するには大きなメモリスペースが必要であり、それによってコンピュータシステムのメモリボトルネックが発生し、トレーニング時間も大きくなる。
この問題に対処するため,本研究では,メモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークであるMF-NeRFを提案する。
まず,マルチレベル特徴グリッドの一部を1つに適応的に混合し,単一のハッシュテーブルにマップする混合特徴ハッシュテーブルの設計を行った。
その後、グリッド点の正しいインデックスを得るために、任意のレベルグリッドのインデックスを標準グリッドのインデックスに変換するインデックス変換法をさらに設計する。
最先端のInstant-NGP、TensoRF、DVGOとベンチマークした大規模な実験は、我々のMF-NeRFが、同じGPUハードウェア上で同じまたはそれ以上の再構築品質のトレーニングタイムを達成できることを示している。
ソースコードはhttps://github.com/nfyfamr/MF-NeRFで入手できる。
関連論文リスト
- SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance [106.0057551634008]
FreeNeRFは暗黙の幾何正規化を統合することでこの制限を克服しようとする。
新しい研究は、新しい特徴マッチングに基づくスパース幾何正規化モジュールを導入する。
モジュールは、高周波キーポイントをピンポイントすることで、詳細の完全性を保護する。
論文 参考訳(メタデータ) (2024-04-01T08:37:57Z) - Transforming Image Super-Resolution: A ConvFormer-based Efficient
Approach [63.98380888730723]
本稿では, Convolutional Transformer Layer (ConvFormer) と ConvFormer-based Super-Resolution Network (CFSR) を紹介する。
CFSRは、計算コストの少ない長距離依存と広範囲の受容場を効率的にモデル化する。
これは、x2 SRタスクのUrban100データセットで0.39dB、パラメータが26%、FLOPが31%減少している。
論文 参考訳(メタデータ) (2024-01-11T03:08:00Z) - SHACIRA: Scalable HAsh-grid Compression for Implicit Neural
Representations [46.01969382873856]
Inlicit Neural Representation (INR)やNeural Fieldは、マルチメディア信号をエンコードする一般的なフレームワークとして登場した。
本稿では,これらの特徴グリッドを,追加のホット後のプルーニング/量子化段階を伴わずに圧縮するフレームワークであるSHACIRAを提案する。
我々のアプローチは、大規模なデータセットやドメイン固有のものを必要としない既存のINRアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-09-27T17:59:48Z) - Instant-NeRF: Instant On-Device Neural Radiance Field Training via
Algorithm-Accelerator Co-Designed Near-Memory Processing [24.3997207834401]
Instant On-Device Neural Radiance Fields (NeRF)は、没入型AR/VR体験の約束を解き放つための需要が高まっている。
我々のプロファイリング分析は、NeRFトレーニングにおけるメモリバウンドの非効率性を明らかにする。
この非効率に対処するために、ニアメモリ処理(NMP)は効果的なソリューションであると約束する。
Instant-NeRFというNMPフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-09T20:59:14Z) - Incorporating Transformer Designs into Convolutions for Lightweight
Image Super-Resolution [46.32359056424278]
大規模な畳み込みカーネルは畳み込みニューラルネットワークの設計に人気がある。
カーネルのサイズが大きくなるとパラメータの数が2倍に増加し、計算量やメモリの要求も大きくなる。
本稿では,自己注意機構を付加した標準畳み込みを改良した近傍注意モジュールを提案する。
NAモジュールをベースとして,TSRと呼ばれる軽量単一画像超解像(SISR)ネットワークを提案する。
論文 参考訳(メタデータ) (2023-03-25T01:32:18Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。
これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。
我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文 参考訳(メタデータ) (2022-07-18T06:01:29Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳(メタデータ) (2021-03-15T12:54:26Z) - Wide-band butterfly network: stable and efficient inversion via
multi-frequency neural networks [1.2891210250935143]
広帯域散乱データから逆散乱マップを近似するために,広帯域蝶ネットワーク(WideBNet)と呼ばれるエンドツーエンドのディープラーニングアーキテクチャを導入する。
このアーキテクチャでは、バタフライの分解のような計算調和解析や、クーリー・テューキーFFTアルゴリズムのような伝統的なマルチスケール手法のツールが組み込まれている。
論文 参考訳(メタデータ) (2020-11-24T21:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。