論文の概要: VaxNeRF: Revisiting the Classic for Voxel-Accelerated Neural Radiance
Field
- arxiv url: http://arxiv.org/abs/2111.13112v1
- Date: Thu, 25 Nov 2021 14:56:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-29 16:44:03.852820
- Title: VaxNeRF: Revisiting the Classic for Voxel-Accelerated Neural Radiance
Field
- Title（参考訳）: VaxNeRF:Voxel-Accelerated Neural Radiance Fieldのクラシックを再考
- Authors: Naruya Kondo, Yuya Ikeda, Andrea Tagliasacchi, Yutaka Matsuo, Yoichi
Ochiai, Shixiang Shane Gu
- Abstract要約: 本稿では,Voxel-Accelearated NeRF (VaxNeRF)を提案する。
VaxNeRFは、ハイパフォーマンスなJaxNeRF上での学習を約2～8倍高速化する。
VaxNeRFが新たなNeRF拡張とアプリケーションを強化し、加速できることを願っています。
- 参考スコア（独自算出の注目度）: 28.087183395793236
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Field (NeRF) is a popular method in data-driven 3D
reconstruction. Given its simplicity and high quality rendering, many NeRF
applications are being developed. However, NeRF's big limitation is its slow
speed. Many attempts are made to speeding up NeRF training and inference,
including intricate code-level optimization and caching, use of sophisticated
data structures, and amortization through multi-task and meta learning. In this
work, we revisit the basic building blocks of NeRF through the lens of classic
techniques before NeRF. We propose Voxel-Accelearated NeRF (VaxNeRF),
integrating NeRF with visual hull, a classic 3D reconstruction technique only
requiring binary foreground-background pixel labels per image. Visual hull,
which can be optimized in about 10 seconds, can provide coarse in-out field
separation to omit substantial amounts of network evaluations in NeRF. We
provide a clean fully-pythonic, JAX-based implementation on the popular JaxNeRF
codebase, consisting of only about 30 lines of code changes and a modular
visual hull subroutine, and achieve about 2-8x faster learning on top of the
highly-performative JaxNeRF baseline with zero degradation in rendering
quality. With sufficient compute, this effectively brings down full NeRF
training from hours to 30 minutes. We hope VaxNeRF -- a careful combination of
a classic technique with a deep method (that arguably replaced it) -- can
empower and accelerate new NeRF extensions and applications, with its
simplicity, portability, and reliable performance gains. Codes are available at
https://github.com/naruya/VaxNeRF .
- Abstract（参考訳）: NeRF(Neural Radiance Field)は、データ駆動型3次元再構成において一般的な手法である。
単純で高品質なレンダリングのため、多くのNeRFアプリケーションが開発されている。
しかし、NeRFの大きな制限は速度が遅いことである。
複雑なコードレベルの最適化とキャッシュ、高度なデータ構造の使用、マルチタスクとメタ学習による償却など、NeRFトレーニングと推論の高速化が試みられている。
本研究では、NeRF以前の古典的技法のレンズを通して、NeRFの基本構造ブロックを再考する。
本稿では,Voxel-Accelearated NeRF (VaxNeRF) を用いて,2次元背景画素ラベルのみを必要とする古典的な3次元再構成技術であるNeRFを視覚的包絡と統合する手法を提案する。
約10秒で最適化できるビジュアル船体は、NeRFにおけるかなりの量のネットワーク評価を省くために、粗いインアウトフィールド分離を提供することができる。
我々は、人気の高いJaxNeRFコードベース上で、約30行のコード変更とモジュール化された視覚的なサブルーチンで構成され、高いパフォーマンスのJaxNeRFベースライン上で、レンダリング品質の劣化をなくすことなく、約2～8倍の高速な学習を実現する、完全にピトニックなJAXベースのクリーンな実装を提供する。
十分な計算量があれば、完全なNeRFトレーニングを数時間から30分に短縮できる。
VaxNeRF – 古典的なテクニックとディープメソッド(おそらく置き換えられる)を慎重に組み合わせることで,新たなNeRF拡張とアプリケーションの強化と高速化が可能になり,そのシンプルさ,ポータビリティ,信頼性の高いパフォーマンス向上を期待しています。
コードはhttps://github.com/naruya/vaxnerfで入手できる。
関連論文リスト
- NeRF-XL: Scaling NeRFs with Multiple GPUs [72.75214892939411]
我々は、複数のGPUにまたがるニューラルラジアンス場(NeRF)を分散する原理的手法であるNeRF-XLを提案する。
パラメータ数を大きくして再構成品質を向上し,GPUの高速化を実現した。
我々は,25km2の都市部をカバーする258K画像を含む,これまでで最大規模のオープンソースデータセットMatrixCityを含む,さまざまなデータセットに対するNeRF-XLの有効性を実証した。
論文 参考訳（メタデータ） (2024-04-24T21:43:15Z) - Fast Sparse View Guided NeRF Update for Object Reconfigurations [42.947608325321475]
我々は,NeRFの物理的変化に対する最初の更新手法を開発した。
提案手法では,新たな画像のみを余分な入力として処理し,トレーニング済みのNeRFを約1～2分で更新する。
私たちの中核となる考え方は、局所的な幾何学や外観の変化を学ぶために、第2のヘルパーNeRFを使うことです。
論文 参考訳（メタデータ） (2024-03-16T22:00:16Z) - FastSR-NeRF: Improving NeRF Efficiency on Consumer Devices with A Simple
Super-Resolution Pipeline [10.252591107152503]
ニューラル放射場(NeRF)の出力をアップスケールする超解像(SR)技術が提案されている。
本稿では,SRをコストのかかるトレーニングやアーキテクチャの変更なしに効率向上に活用することを目的としている。
論文 参考訳（メタデータ） (2023-12-15T21:02:23Z) - ZeroRF: Fast Sparse View 360{\deg} Reconstruction with Zero Pretraining [28.03297623406931]
Neural Radiance Fields (NeRF)のような現在のブレークスルーは、高忠実度画像合成を実証しているが、スパース入力ビューに苦慮している。
我々はZeroRFを提案し、その鍵となるアイデアは、カスタマイズされたDeep Image Priorを係数化されたNeRF表現に統合することである。
従来の方法とは異なり、ZeroRFはニューラルネットワークジェネレータでフィーチャーグリッドをパラメトリズし、効率的なスパースビュー360deg再構成を可能にする。
論文 参考訳（メタデータ） (2023-12-14T18:59:32Z) - Re-Nerfing: Improving Novel Views Synthesis through Novel Views Synthesis [80.3686833921072]
Re-Nerfingは単純で汎用的なマルチステージデータ拡張アプローチである。
利用可能なビューでNeRFをトレーニングした後、最適化されたNeRFを使用して、元のビューに関する擬似ビューを合成します。
また、原画像と疑似ビューの両方が不確実領域を隠蔽する第2のNeRFを訓練する。
論文 参考訳（メタデータ） (2023-12-04T18:56:08Z) - Efficient View Synthesis with Neural Radiance Distribution Field [61.22920276806721]
我々は,リアルタイムに効率的なビュー合成を目標とするニューラルレージアンス分布場(NeRDF)という新しい表現を提案する。
我々は、NeLFのように1ピクセル当たりの1つのネットワーク転送でレンダリング速度を保ちながら、NeRFに似た小さなネットワークを使用する。
実験の結果,提案手法は既存の手法よりも速度,品質,ネットワークサイズとのトレードオフが良好であることがわかった。
論文 参考訳（メタデータ） (2023-08-22T02:23:28Z) - DReg-NeRF: Deep Registration for Neural Radiance Fields [66.69049158826677]
我々は,人間の介入なしにオブジェクト中心のアノテートシーンにおけるNeRF登録問題を解くためにDReg-NeRFを提案する。
提案手法は,SOTAポイントクラウド登録方式を大きなマージンで打ち負かす。
論文 参考訳（メタデータ） (2023-08-18T08:37:49Z) - FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency
Regularization [32.1581416980828]
本稿では、従来の手法よりも優れた驚くほど単純なベースラインである周波数正規化NeRF(FreeNeRF)を提案する。
我々は、数ショットのニューラルレンダリングにおける重要な課題を分析し、NeRFのトレーニングにおいて周波数が重要な役割を果たすことを発見した。
論文 参考訳（メタデータ） (2023-03-13T18:59:03Z) - MEIL-NeRF: Memory-Efficient Incremental Learning of Neural Radiance
Fields [49.68916478541697]
我々は、NeRF(MEIL-NeRF)のためのメモリ効率の良いインクリメンタル学習アルゴリズムを開発した。
MEIL-NeRFはNeRF自体からインスピレーションを得て、ニューラルネットワークがクエリとして与えられたピクセルRGB値を提供するメモリとして機能する。
その結果、MEIL-NeRFはメモリ消費と競合性能を一定に示すことができた。
論文 参考訳（メタデータ） (2022-12-16T08:04:56Z) - Compressing Explicit Voxel Grid Representations: fast NeRFs become also
small [3.1473798197405944]
Re:NeRFは、同等の性能を維持しながら、NeRFモデルのメモリストレージを削減することを目的としている。
3つのEVG-NeRFアーキテクチャを4つの人気のあるベンチマークでベンチマークする。
論文 参考訳（メタデータ） (2022-10-23T16:42:29Z) - Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual
Fly-Throughs [54.41204057689033]
我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。
NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。
我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
論文 参考訳（メタデータ） (2021-12-20T17:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。