論文の概要: Gen-NeRF: Efficient and Generalizable Neural Radiance Fields via
Algorithm-Hardware Co-Design
- arxiv url: http://arxiv.org/abs/2304.11842v3
- Date: Mon, 15 Jan 2024 02:18:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 02:57:17.221195
- Title: Gen-NeRF: Efficient and Generalizable Neural Radiance Fields via
Algorithm-Hardware Co-Design
- Title（参考訳）: Gen-NeRF:アルゴリズム・ハードウエア共同設計による効率的で一般化可能なニューラルラジアンス場
- Authors: Yonggan Fu, Zhifan Ye, Jiayi Yuan, Shunyao Zhang, Sixu Li, Haoran You,
Yingyan Lin
- Abstract要約: Gen-NeRFは、一般化可能なNeRFアクセラレーションに特化したアルゴリズムハードウェアの共同設計フレームワークである。
アルゴリズム側では、Gen-NeRFは粗いthen-focusサンプリング戦略を統合する。
ハードウェア面では、Gen-NeRFはデータ再利用の機会を最大化するためのアクセラレーターマイクロアーキテクチャを強調している。
- 参考スコア（独自算出の注目度）: 29.582402267769634
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novel view synthesis is an essential functionality for enabling immersive
experiences in various Augmented- and Virtual-Reality (AR/VR) applications, for
which generalizable Neural Radiance Fields (NeRFs) have gained increasing
popularity thanks to their cross-scene generalization capability. Despite their
promise, the real-device deployment of generalizable NeRFs is bottlenecked by
their prohibitive complexity due to the required massive memory accesses to
acquire scene features, causing their ray marching process to be
memory-bounded. To this end, we propose Gen-NeRF, an algorithm-hardware
co-design framework dedicated to generalizable NeRF acceleration, which for the
first time enables real-time generalizable NeRFs. On the algorithm side,
Gen-NeRF integrates a coarse-then-focus sampling strategy, leveraging the fact
that different regions of a 3D scene contribute differently to the rendered
pixel, to enable sparse yet effective sampling. On the hardware side, Gen-NeRF
highlights an accelerator micro-architecture to maximize the data reuse
opportunities among different rays by making use of their epipolar geometric
relationship. Furthermore, our Gen-NeRF accelerator features a customized
dataflow to enhance data locality during point-to-hardware mapping and an
optimized scene feature storage strategy to minimize memory bank conflicts.
Extensive experiments validate the effectiveness of our proposed Gen-NeRF
framework in enabling real-time and generalizable novel view synthesis.
- Abstract（参考訳）: 新しいビュー合成は、様々な拡張現実および仮想現実(AR/VR)アプリケーションにおいて没入型体験を可能にするために不可欠な機能であり、そのクロスシーンの一般化能力により、一般化可能なニューラルレイディアンス場(NeRF)が人気を博している。
それらの約束にもかかわらず、一般化可能なNeRFの実際のデバイス展開は、シーン機能を取得するために大量のメモリアクセスを必要とするため、その禁止的な複雑さによってボトルネックになり、レイマーチングプロセスはメモリバウンドになる。
この目的のために,提案するGen-NeRFは,リアルタイムに一般化可能なNeRFを初めて実現可能な,一般化可能なNeRFアクセラレーション専用のアルゴリズムハードウェアの共同設計フレームワークである。
アルゴリズム側では、gen-nerfは3dシーンの異なる領域がレンダリングされたピクセルに異なる貢献をするという事実を利用して、粗く効果的なサンプリング戦略を統合する。
ハードウェア面では、Gen-NeRFは、そのエピポーラ幾何学的関係を利用して、異なる光線間でのデータ再利用機会を最大化するアクセラレーターマイクロアーキテクチャを強調している。
さらに、Gen-NeRFアクセラレータは、ポイント・ツー・ハードウエアマッピング時のデータの局所性を向上するカスタマイズされたデータフローと、メモリバンク競合を最小限に抑える最適化されたシーン特徴記憶戦略を備えている。
提案するGen-NeRFフレームワークがリアルタイムかつ一般化可能な新規ビュー合成に有効であることを示す。
関連論文リスト
- Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす
近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。
我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
論文 参考訳（メタデータ） (2024-10-23T13:05:26Z) - GMT: Enhancing Generalizable Neural Rendering via Geometry-Driven Multi-Reference Texture Transfer [40.70828307740121]
新たなビュー合成(NVS)は、多視点画像を用いて任意の視点で画像を生成することを目的としており、ニューラルレイディアンス場(NeRF)からの最近の知見は、顕著な改善に寄与している。
G-NeRFはシーンごとの最適化がないため、特定のシーンの細部を表現するのに依然として苦労している。
G-NeRF用に設計されたプラグアンドプレイモジュールとして利用可能な幾何駆動型マルチ参照テクスチャ転送ネットワーク(GMT)を提案する。
論文 参考訳（メタデータ） (2024-10-01T13:30:51Z) - SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance [106.0057551634008]
FreeNeRFは暗黙の幾何正規化を統合することでこの制限を克服しようとする。
新しい研究は、新しい特徴マッチングに基づくスパース幾何正規化モジュールを導入する。
モジュールは、高周波キーポイントをピンポイントすることで、詳細の完全性を保護する。
論文 参考訳（メタデータ） (2024-04-01T08:37:57Z) - Hyb-NeRF: A Multiresolution Hybrid Encoding for Neural Radiance Fields [12.335934855851486]
マルチレゾリューションハイブリッド符号化を用いた新しい神経放射場であるHyb-NeRFを提案する。
本稿では,Hyb-NeRFのレンダリング速度が向上し,レンダリング性能が向上し,従来の手法と比較してメモリフットプリントも低くなることを示す。
論文 参考訳（メタデータ） (2023-11-21T10:01:08Z) - VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for
Enhanced Indoor View Synthesis [51.49008959209671]
本稿では,室内ビュー合成の品質と効率を高めるために,ボリューム表現を活用する新しいアプローチであるVoxNeRFを紹介する。
我々は,空間的特徴を適応的に捉えるためにマルチレゾリューション・ハッシュ・グリッドを使用し,室内シーンの閉塞や複雑な形状を効果的に管理する。
我々は,3つの屋内データセットに対するアプローチを検証するとともに,VoxNeRFが最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2023-11-09T11:32:49Z) - Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple
Scale Neural Radiance Field Rendering [3.8200916793910973]
ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。
しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。
本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
論文 参考訳（メタデータ） (2023-10-03T08:34:49Z) - Enhancing NeRF akin to Enhancing LLMs: Generalizable NeRF Transformer
with Mixture-of-View-Experts [88.23732496104667]
クロスシーンの一般化可能なNeRFモデルは、NeRFフィールドの新たなスポットライトとなっている。
我々は、大規模言語モデルから強力なMixture-of-Experts(MoE)のアイデアを"神経化"アーキテクチャにブリッジする。
提案手法は,GNT-MOVE (Mixture-of-View-Experts) とよばれるモデルで,未知のシーンに移動する際の最先端の結果を実験的に示す。
論文 参考訳（メタデータ） (2023-08-22T21:18:54Z) - MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。
最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
論文 参考訳（メタデータ） (2023-04-25T05:44:50Z) - Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。
提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文 参考訳（メタデータ） (2023-04-20T17:59:52Z) - Re-ReND: Real-time Rendering of NeRFs across Devices [56.081995086924216]
Re-ReNDは、NeRFを標準グラフィックスパイプラインで効率的に処理できる表現に変換することで、リアルタイムのパフォーマンスを実現するように設計されている。
Re-ReNDはレンダリング速度が2.6倍に向上し、最先端技術では品質が損なわれることなく達成できることがわかった。
論文 参考訳（メタデータ） (2023-03-15T15:59:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。