論文の概要: Gen-NeRF: Efficient and Generalizable Neural Radiance Fields via Algorithm-Hardware Co-Design

• arxiv url: http://arxiv.org/abs/2304.11842v4
• Date: Sat, 04 Jan 2025 03:21:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:02:34.077982
• Title: Gen-NeRF: Efficient and Generalizable Neural Radiance Fields via Algorithm-Hardware Co-Design
• Title（参考訳）: Gen-NeRF:アルゴリズムとハードウェアの共設計による効率的で一般化可能なニューラルラジアンス場
• Authors: Yonggan Fu, Zhifan Ye, Jiayi Yuan, Shunyao Zhang, Sixu Li, Haoran You, Yingyan Celine Lin,
• Abstract要約: Gen-NeRFは、一般化可能なNeRFアクセラレーションに特化したアルゴリズムハードウェアの共同設計フレームワークである。 アルゴリズム側では、Gen-NeRFは粗いthen-focusサンプリング戦略を統合する。 ハードウェア面では、Gen-NeRFはデータ再利用の機会を最大化するためのアクセラレーターマイクロアーキテクチャを強調している。
• 参考スコア（独自算出の注目度）: 17.32288942793313
• License:
• Abstract: Novel view synthesis is an essential functionality for enabling immersive experiences in various Augmented- and Virtual-Reality (AR/VR) applications, for which generalizable Neural Radiance Fields (NeRFs) have gained increasing popularity thanks to their cross-scene generalization capability. Despite their promise, the real-device deployment of generalizable NeRFs is bottlenecked by their prohibitive complexity due to the required massive memory accesses to acquire scene features, causing their ray marching process to be memory-bounded. To this end, we propose Gen-NeRF, an algorithm-hardware co-design framework dedicated to generalizable NeRF acceleration, which for the first time enables real-time generalizable NeRFs. On the algorithm side, Gen-NeRF integrates a coarse-then-focus sampling strategy, leveraging the fact that different regions of a 3D scene contribute differently to the rendered pixel, to enable sparse yet effective sampling. On the hardware side, Gen-NeRF highlights an accelerator micro-architecture to maximize the data reuse opportunities among different rays by making use of their epipolar geometric relationship. Furthermore, our Gen-NeRF accelerator features a customized dataflow to enhance data locality during point-to-hardware mapping and an optimized scene feature storage strategy to minimize memory bank conflicts. Extensive experiments validate the effectiveness of our proposed Gen-NeRF framework in enabling real-time and generalizable novel view synthesis.
• Abstract（参考訳）: 新しいビュー合成は、様々な拡張現実および仮想現実(AR/VR)アプリケーションにおいて没入型体験を可能にするために不可欠な機能であり、そのクロスシーンの一般化能力により、一般化可能なニューラルレイディアンス場(NeRF)が人気を博している。 それらの約束にもかかわらず、一般化可能なNeRFの実際のデバイス展開は、シーン機能を取得するために大量のメモリアクセスを必要とするため、その禁止的な複雑さによってボトルネックになり、レイマーチングプロセスはメモリバウンドになる。 この目的のために,提案するGen-NeRFは,リアルタイムに一般化可能なNeRFを初めて実現可能な,一般化可能なNeRFアクセラレーション専用のアルゴリズムハードウェアの共同設計フレームワークである。 アルゴリズム側では、Gen-NeRFは粗い焦点サンプリング戦略を統合し、3Dシーンの異なる領域がレンダリングされたピクセルに異なる貢献をするという事実を活用し、スパースで効果的なサンプリングを可能にする。 ハードウェア面では、Gen-NeRFは、そのエピポーラ幾何学的関係を利用して、異なる光線間でのデータ再利用機会を最大化するアクセラレーターマイクロアーキテクチャを強調している。 さらに、Gen-NeRFアクセラレータは、ポイント・ツー・ハードウエアマッピング時のデータの局所性を向上するカスタマイズされたデータフローと、メモリバンクの競合を最小限に抑える最適化されたシーン特徴記憶戦略を備えている。 提案したGen-NeRFフレームワークがリアルタイムかつ一般化可能な新規ビュー合成を実現するための有効性を検証する。

関連論文リスト

• GMT: Enhancing Generalizable Neural Rendering via Geometry-Driven Multi-Reference Texture Transfer [40.70828307740121]
  新たなビュー合成(NVS)は、多視点画像を用いて任意の視点で画像を生成することを目的としており、ニューラルレイディアンス場(NeRF)からの最近の知見は、顕著な改善に寄与している。 G-NeRFはシーンごとの最適化がないため、特定のシーンの細部を表現するのに依然として苦労している。 G-NeRF用に設計されたプラグアンドプレイモジュールとして利用可能な幾何駆動型マルチ参照テクスチャ転送ネットワーク(GMT)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T13:30:51Z)
• Spatial Annealing for Efficient Few-shot Neural Rendering [73.49548565633123]
  我々はtextbfSpatial textbf Annealing regularized textbfNeRF (textbfSANeRF) という,正確で効率的な数発のニューラルレンダリング手法を導入する。 単に1行のコードを追加することで、SANeRFは、現在の数ショットのニューラルレンダリング方法と比較して、より優れたレンダリング品質とはるかに高速な再構築速度を提供する。
  論文  参考訳（メタデータ） (2024-06-12T02:48:52Z)
• SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance [106.0057551634008]
  FreeNeRFは暗黙の幾何正規化を統合することでこの制限を克服しようとする。 新しい研究は、新しい特徴マッチングに基づくスパース幾何正規化モジュールを導入する。 モジュールは、高周波キーポイントをピンポイントすることで、詳細の完全性を保護する。
  論文  参考訳（メタデータ） (2024-04-01T08:37:57Z)
• Hyb-NeRF: A Multiresolution Hybrid Encoding for Neural Radiance Fields [12.335934855851486]
  マルチレゾリューションハイブリッド符号化を用いた新しい神経放射場であるHyb-NeRFを提案する。 本稿では,Hyb-NeRFのレンダリング速度が向上し,レンダリング性能が向上し,従来の手法と比較してメモリフットプリントも低くなることを示す。
  論文  参考訳（メタデータ） (2023-11-21T10:01:08Z)
• VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for Enhanced Indoor View Synthesis [73.50359502037232]
  VoxNeRFは、ニューラル室内再構成と新しいビュー合成の質と効率を高めるための新しいアプローチである。 本稿では,最も関連性の高い領域に計算資源を割り当てる効率的なボクセル誘導サンプリング手法を提案する。 私たちのアプローチは、ScanNetとScanNet++に関する広範な実験で検証されています。
  論文  参考訳（メタデータ） (2023-11-09T11:32:49Z)
• Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple Scale Neural Radiance Field Rendering [3.8200916793910973]
  ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。 しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。 本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
  論文  参考訳（メタデータ） (2023-10-03T08:34:49Z)
• Enhancing NeRF akin to Enhancing LLMs: Generalizable NeRF Transformer with Mixture-of-View-Experts [88.23732496104667]
  クロスシーンの一般化可能なNeRFモデルは、NeRFフィールドの新たなスポットライトとなっている。 我々は、大規模言語モデルから強力なMixture-of-Experts(MoE)のアイデアを"神経化"アーキテクチャにブリッジする。 提案手法は,GNT-MOVE (Mixture-of-View-Experts) とよばれるモデルで,未知のシーンに移動する際の最先端の結果を実験的に示す。
  論文  参考訳（メタデータ） (2023-08-22T21:18:54Z)
• MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
  MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。 最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
  論文  参考訳（メタデータ） (2023-04-25T05:44:50Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• Re-ReND: Real-time Rendering of NeRFs across Devices [56.081995086924216]
  Re-ReNDは、NeRFを標準グラフィックスパイプラインで効率的に処理できる表現に変換することで、リアルタイムのパフォーマンスを実現するように設計されている。 Re-ReNDはレンダリング速度が2.6倍に向上し、最先端技術では品質が損なわれることなく達成できることがわかった。
  論文  参考訳（メタデータ） (2023-03-15T15:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。