論文の概要: MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table
- arxiv url: http://arxiv.org/abs/2304.12587v4
- Date: Wed, 6 Sep 2023 17:43:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 19:05:51.720274
- Title: MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table
- Title(参考訳): MF-NeRF:混合ハッシュテーブルを用いたメモリ効率の良いNeRF
- Authors: Yongjae Lee, Li Yang and Deliang Fan
- Abstract要約: MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。
最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
- 参考スコア(独自算出の注目度): 62.164549651134465
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Neural radiance field (NeRF) has shown remarkable performance in generating
photo-realistic novel views. Among recent NeRF related research, the approaches
that involve the utilization of explicit structures like grids to manage
features achieve exceptionally fast training by reducing the complexity of
multilayer perceptron (MLP) networks. However, storing features in dense grids
demands a substantial amount of memory space, resulting in a notable memory
bottleneck within computer system. Consequently, it leads to a significant
increase in training times without prior hyper-parameter tuning. To address
this issue, in this work, we are the first to propose MF-NeRF, a
memory-efficient NeRF framework that employs a Mixed-Feature hash table to
improve memory efficiency and reduce training time while maintaining
reconstruction quality. Specifically, we first design a mixed-feature hash
encoding to adaptively mix part of multi-level feature grids and map it to a
single hash table. Following that, in order to obtain the correct index of a
grid point, we further develop an index transformation method that transforms
indices of an arbitrary level grid to those of a canonical grid. Extensive
experiments benchmarking with state-of-the-art Instant-NGP, TensoRF, and DVGO,
indicate our MF-NeRF could achieve the fastest training time on the same GPU
hardware with similar or even higher reconstruction quality.
- Abstract(参考訳): ニューラル・ラディアンス・フィールド(NeRF)はフォトリアリスティック・ノベルビューの生成において顕著な性能を示した。
近年のnerf関連研究では,多層パーセプトロン(mlp)ネットワークの複雑性を低減し,機能管理のためのグリッドなどの明示的な構造を活用する手法が極めて高速なトレーニングを実現する。
しかし、高密度グリッドに機能を格納するにはかなりのメモリスペースが必要であり、結果としてコンピュータシステム内で顕著なメモリボトルネックが発生する。
その結果、事前のハイパーパラメータチューニングなしでトレーニング時間が大幅に増加する。
この問題に対処するため,我々はMF-NeRF(Mixed-Featureハッシュテーブルを用いたメモリ効率の高いNeRFフレームワーク)を提案する。
具体的には、まずマルチレベル特徴格子の一部を適応的に混合し、1つのハッシュテーブルにマッピングする混合機能ハッシュ符号化を設計する。
その後、グリッド点の正しいインデックスを得るために、任意のレベルグリッドのインデックスを標準グリッドのインデックスに変換するインデックス変換法をさらに発展させる。
最先端のInstant-NGP、TensoRF、DVGOとベンチマークした大規模な実験は、我々のMF-NeRFが、同じGPUハードウェア上で同じまたはそれ以上の再構築品質のトレーニングタイムを達成できることを示している。
関連論文リスト
- Transforming Image Super-Resolution: A ConvFormer-based Efficient
Approach [63.98380888730723]
本稿では, Convolutional Transformer Layer (ConvFormer) と ConvFormer-based Super-Resolution Network (CFSR) を紹介する。
CFSRは、計算コストの少ない長距離依存と広範囲の受容場を効率的にモデル化する。
これは、x2 SRタスクのUrban100データセットで0.39dB、パラメータが26%、FLOPが31%減少している。
論文 参考訳(メタデータ) (2024-01-11T03:08:00Z) - SHACIRA: Scalable HAsh-grid Compression for Implicit Neural
Representations [46.01969382873856]
Inlicit Neural Representation (INR)やNeural Fieldは、マルチメディア信号をエンコードする一般的なフレームワークとして登場した。
本稿では,これらの特徴グリッドを,追加のホット後のプルーニング/量子化段階を伴わずに圧縮するフレームワークであるSHACIRAを提案する。
我々のアプローチは、大規模なデータセットやドメイン固有のものを必要としない既存のINRアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-09-27T17:59:48Z) - Instant-NeRF: Instant On-Device Neural Radiance Field Training via
Algorithm-Accelerator Co-Designed Near-Memory Processing [24.3997207834401]
Instant On-Device Neural Radiance Fields (NeRF)は、没入型AR/VR体験の約束を解き放つための需要が高まっている。
我々のプロファイリング分析は、NeRFトレーニングにおけるメモリバウンドの非効率性を明らかにする。
この非効率に対処するために、ニアメモリ処理(NMP)は効果的なソリューションであると約束する。
Instant-NeRFというNMPフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-09T20:59:14Z) - Incorporating Transformer Designs into Convolutions for Lightweight
Image Super-Resolution [46.32359056424278]
大規模な畳み込みカーネルは畳み込みニューラルネットワークの設計に人気がある。
カーネルのサイズが大きくなるとパラメータの数が2倍に増加し、計算量やメモリの要求も大きくなる。
本稿では,自己注意機構を付加した標準畳み込みを改良した近傍注意モジュールを提案する。
NAモジュールをベースとして,TSRと呼ばれる軽量単一画像超解像(SISR)ネットワークを提案する。
論文 参考訳(メタデータ) (2023-03-25T01:32:18Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。
これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。
我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文 参考訳(メタデータ) (2022-07-18T06:01:29Z) - Asymmetric CNN for image super-resolution [102.96131810686231]
深層畳み込みニューラルネットワーク(CNN)は、過去5年間で低レベルビジョンに広く適用されています。
画像超解像のための非対称ブロック(AB)、mem?ory拡張ブロック(MEB)、高周波数特徴強調ブロック(HFFEB)からなる非対称CNN(ACNet)を提案する。
我々のACNetは、ブラインドノイズの単一画像超解像(SISR)、ブラインドSISR、ブラインドSISRを効果的に処理できる。
論文 参考訳(メタデータ) (2021-03-25T07:10:46Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳(メタデータ) (2021-03-15T12:54:26Z) - Wide-band butterfly network: stable and efficient inversion via
multi-frequency neural networks [1.2891210250935143]
広帯域散乱データから逆散乱マップを近似するために,広帯域蝶ネットワーク(WideBNet)と呼ばれるエンドツーエンドのディープラーニングアーキテクチャを導入する。
このアーキテクチャでは、バタフライの分解のような計算調和解析や、クーリー・テューキーFFTアルゴリズムのような伝統的なマルチスケール手法のツールが組み込まれている。
論文 参考訳(メタデータ) (2020-11-24T21:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。