論文の概要: NGP-RT: Fusing Multi-Level Hash Features with Lightweight Attention for Real-Time Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2407.10482v1
• Date: Mon, 15 Jul 2024 07:08:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 16:00:42.068923
• Title: NGP-RT: Fusing Multi-Level Hash Features with Lightweight Attention for Real-Time Novel View Synthesis
• Title（参考訳）: NGP-RT:リアルタイム新規ビュー合成のための軽量注意機能付きマルチレベルハッシュ機能
• Authors: Yubin Hu, Xiaoyang Guo, Yang Xiao, Jingwei Huang, Yong-Jin Liu,
• Abstract要約: NGP-RTはInstant-NGPのレンダリング速度を向上し、リアルタイムな新しいビューを実現するための新しいアプローチである。 我々のアプローチは、効率よく高品質なレンダリングを必要とするNeRFベースのリアルタイムアプリケーションに対して有望である。
• 参考スコア（独自算出の注目度）: 33.56424500385843
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper presents NGP-RT, a novel approach for enhancing the rendering speed of Instant-NGP to achieve real-time novel view synthesis. As a classic NeRF-based method, Instant-NGP stores implicit features in multi-level grids or hash tables and applies a shallow MLP to convert the implicit features into explicit colors and densities. Although it achieves fast training speed, there is still a lot of room for improvement in its rendering speed due to the per-point MLP executions for implicit multi-level feature aggregation, especially for real-time applications. To address this challenge, our proposed NGP-RT explicitly stores colors and densities as hash features, and leverages a lightweight attention mechanism to disambiguate the hash collisions instead of using computationally intensive MLP. At the rendering stage, NGP-RT incorporates a pre-computed occupancy distance grid into the ray marching strategy to inform the distance to the nearest occupied voxel, thereby reducing the number of marching points and global memory access. Experimental results show that on the challenging Mip-NeRF360 dataset, NGP-RT achieves better rendering quality than previous NeRF-based methods, achieving 108 fps at 1080p resolution on a single Nvidia RTX 3090 GPU. Our approach is promising for NeRF-based real-time applications that require efficient and high-quality rendering.
• Abstract（参考訳）: Instant-NGPのレンダリング速度を向上させるための新しい手法として,NGP-RTを提案する。 古典的なNeRFベースの方法として、Instant-NGPは暗黙的な特徴をマルチレベルグリッドやハッシュテーブルに格納し、暗黙的な特徴を明示的な色や密度に変換するために浅いMDPを適用している。 高速なトレーニング速度を実現するが、特にリアルタイムアプリケーションでは、暗黙のマルチレベル機能集約のためのポイント毎のMLP実行のために、レンダリング速度を改善する余地がまだたくさんある。 この課題に対処するために,提案したNGP-RTは,色と密度をハッシュの特徴として明示的に記憶し,軽量な注意機構を活用して,計算集約型MLPの代わりにハッシュ衝突を曖昧にする。 レンダリング段階では、NGP-RTは、予め計算された占有距離グリッドを光マーチング戦略に組み込んで、最も近い占有ボクセルまでの距離を知らせ、マーチングポイントの数とグローバルメモリアクセスを減少させる。 Mip-NeRF360データセットでは、NGP-RTは従来のNeRFベースの手法よりも優れたレンダリング品質を実現し、単一のNvidia RTX 3090 GPU上で1080pの解像度で108fpsを達成した。 我々のアプローチは、効率よく高品質なレンダリングを必要とするNeRFベースのリアルタイムアプリケーションに対して有望である。

関連論文リスト

• SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance [106.0057551634008]
  FreeNeRFは暗黙の幾何正規化を統合することでこの制限を克服しようとする。 新しい研究は、新しい特徴マッチングに基づくスパース幾何正規化モジュールを導入する。 モジュールは、高周波キーポイントをピンポイントすることで、詳細の完全性を保護する。
  論文  参考訳（メタデータ） (2024-04-01T08:37:57Z)
• Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple Scale Neural Radiance Field Rendering [3.8200916793910973]
  ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。 しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。 本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
  論文  参考訳（メタデータ） (2023-10-03T08:34:49Z)
• Efficient View Synthesis with Neural Radiance Distribution Field [61.22920276806721]
  我々は,リアルタイムに効率的なビュー合成を目標とするニューラルレージアンス分布場(NeRDF)という新しい表現を提案する。 我々は、NeLFのように1ピクセル当たりの1つのネットワーク転送でレンダリング速度を保ちながら、NeRFに似た小さなネットワークを使用する。 実験の結果,提案手法は既存の手法よりも速度,品質,ネットワークサイズとのトレードオフが良好であることがわかった。
  論文  参考訳（メタデータ） (2023-08-22T02:23:28Z)
• MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
  MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。 最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
  論文  参考訳（メタデータ） (2023-04-25T05:44:50Z)
• Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering [84.37776381343662]
  Mip-NeRFは、スケール情報をエンコードする円錐フラストラムとしてマルチスケール表現を提案する。 我々は,リアルタイムなアンチエイリアスレンダリングのためのマルチスケールな明示的表現であるmip voxel grids (Mip-VoG)を提案する。 私たちのアプローチは、マルチスケールのトレーニングとリアルタイムのアンチエイリアスレンダリングを同時に提供する最初の方法です。
  論文  参考訳（メタデータ） (2023-04-20T04:05:22Z)
• Re-ReND: Real-time Rendering of NeRFs across Devices [56.081995086924216]
  Re-ReNDは、NeRFを標準グラフィックスパイプラインで効率的に処理できる表現に変換することで、リアルタイムのパフォーマンスを実現するように設計されている。 Re-ReNDはレンダリング速度が2.6倍に向上し、最先端技術では品質が損なわれることなく達成できることがわかった。
  論文  参考訳（メタデータ） (2023-03-15T15:59:41Z)
• SteerNeRF: Accelerating NeRF Rendering via Smooth Viewpoint Trajectory [20.798605661240355]
  本稿では,2次元ニューラルネットワークを用いたレンダリングの高速化手法を提案する。 まず、ボリュームレンダリングにより低解像度の特徴マップを描画し、続いて、軽量な2Dニューラルを適用して、目標解像度で画像を生成する。 提案手法は,メモリオーバーヘッドを少なくしてレンダリング時間を短縮し,メモリフットプリントの少ない1080P画像解像度で30FPSを実現することで,競争力のあるレンダリング品質を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-12-15T00:02:36Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。