論文の概要: VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points

• arxiv url: http://arxiv.org/abs/2410.17932v2
• Date: Tue, 15 Apr 2025 11:59:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:06:57.343141
• Title: VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points
• Title（参考訳）: VR-Splatting:3次元ガウススプレイティングとニューラルポイントによるFoveated Radiance Field Rendering
• Authors: Linus Franke, Laura Fink, Marc Stamminger,
• Abstract要約: 本稿では,パフォーマンススイートスポットに関する両点描画方向の長所を結合した,新しいハイブリッドアプローチを提案する。 焦点のみの場合、我々は小さなピクセルフットプリントのために畳み込みニューラルネットワークでニューラルネットワークを使用し、鋭く詳細な出力を提供する。 提案手法は,標準的なVR対応3DGS構成と比較して,シャープネスとディテールが向上することを確認した。
• 参考スコア（独自算出の注目度）: 4.962171160815189
• License:
• Abstract: Recent advances in novel view synthesis have demonstrated impressive results in fast photorealistic scene rendering through differentiable point rendering, either via Gaussian Splatting (3DGS) [Kerbl and Kopanas et al. 2023] or neural point rendering [Aliev et al. 2020]. Unfortunately, these directions require either a large number of small Gaussians or expensive per-pixel post-processing for reconstructing fine details, which negatively impacts rendering performance. To meet the high performance demands of virtual reality (VR) systems, primitive or pixel counts therefore must be kept low, affecting visual quality. In this paper, we propose a novel hybrid approach based on foveated rendering as a promising solution that combines the strengths of both point rendering directions regarding performance sweet spots. Analyzing the compatibility with the human visual system, we find that using a low-detailed, few primitive smooth Gaussian representation for the periphery is cheap to compute and meets the perceptual demands of peripheral vision. For the fovea only, we use neural points with a convolutional neural network for the small pixel footprint, which provides sharp, detailed output within the rendering budget. This combination also allows for synergistic method accelerations with point occlusion culling and reducing the demands on the neural network. Our evaluation confirms that our approach increases sharpness and details compared to a standard VR-ready 3DGS configuration, and participants of a user study overwhelmingly preferred our method. Our system meets the necessary performance requirements for real-time VR interactions, ultimately enhancing the user's immersive experience. The project page can be found at: https://lfranke.github.io/vr_splatting
• Abstract（参考訳）: 近年のビュー合成の進歩は、ガウススプラッティング(3DGS)[Kerbl and Kopanas et al 2023]またはニューラルポイントレンダリング(Aliev et al 2020)を介して、異なる点レンダリングによる高速光写実的シーンレンダリングにおいて、印象的な結果を示している。 残念なことに、これらの方向は多数の小さなガウシアンを必要とするか、細部を再構築するために1ピクセルあたりの高価な後処理を必要とするが、これはレンダリング性能に悪影響を及ぼす。 仮想現実(VR)システムの高性能な要求を満たすため、プリミティブまたはピクセル数は低く保たなければならず、視覚的品質に影響を及ぼす。 本稿では,パフォーマンススイートスポットに関する両点描画方向の強みを結合した,フェーブ付きレンダリングに基づく新しいハイブリッド手法を提案する。 人間の視覚システムとの整合性を解析した結果,低詳細で平滑なガウス表現を用いることで,周辺視の知覚的要求を満たす計算が安価であることが判明した。 フォビアのみの場合、小さなピクセルフットプリントのために畳み込みニューラルネットワークを備えたニューラルポイントを使用し、レンダリング予算内でシャープで詳細な出力を提供する。 この組み合わせにより、点閉塞カリングによる相乗的なメソッドアクセラレーションが可能になり、ニューラルネットワークの要求を低減できる。 評価の結果,標準的なVR対応3DGS構成と比較して,アプローチのシャープさやディテールが向上していることが確認され,ユーザスタディの参加者は圧倒的に提案手法を好んだ。 我々のシステムは、リアルタイムVRインタラクションに必要なパフォーマンス要件を満たし、究極的にはユーザの没入感を高めます。 プロジェクトページは以下の通りである。

関連論文リスト

• 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
  多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。 3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。 本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-22T14:31:39Z)
• OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering [55.50438181721271]
  表面レンダリングにNeRFを用いた従来手法では,閉鎖領域の復元には1日以上,閉塞領域のレンダリングには数秒を要していた。 OccGaussianは3D Gaussian Splattingをベースとして6分以内でトレーニングが可能で,最大160FPSまでの高品質な人体レンダリングを実現する。
  論文  参考訳（メタデータ） (2024-04-12T13:00:06Z)
• VR-GS: A Physical Dynamics-Aware Interactive Gaussian Splatting System in Virtual Reality [39.53150683721031]
  提案するVR-GSシステムは,人間中心の3Dコンテンツインタラクションにおける飛躍的な進歩を示す。 私たちの仮想現実システムのコンポーネントは、高い効率と有効性のために設計されています。
  論文  参考訳（メタデータ） (2024-01-30T01:28:36Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• VR-NeRF: High-Fidelity Virtualized Walkable Spaces [55.51127858816994]
  本稿では,高忠実度キャプチャ,モデル再構成,リアルタイムレンダリングのためのエンドツーエンドシステムを提案する。
  論文  参考訳（メタデータ） (2023-11-05T02:03:14Z)
• ABLE-NeRF: Attention-Based Rendering with Learnable Embeddings for Neural Radiance Field [20.986012773294714]
  我々は,光線に沿ったボリュームに自己注意型フレームワークを導入することで,物理ベースのVRアプローチに代わる方法を提案する。 ABLE-NeRFと呼ばれるこの手法は、レンダリングにおける光沢のある表面のぼやけを著しく低減し、先行技術に欠ける現実的な半透明な表面を生成する。
  論文  参考訳（メタデータ） (2023-03-24T05:34:39Z)
• Immersive Neural Graphics Primitives [13.48024951446282]
  我々は没入型VRのシーンをレンダリングできるNeRFベースのフレームワークを提示し、評価する。 我々のアプローチでは、毎秒30フレームのフレームレートで、1眼あたり1280×720ピクセルの解像度が得られる。
  論文  参考訳（メタデータ） (2022-11-24T09:33:38Z)
• NeuVV: Neural Volumetric Videos with Immersive Rendering and Editing [34.40837543752915]
  本稿では, 没入型, 対話型, 時空間レンダリングをサポートするニューラルボリュームビデオ(NeuVV)と呼ばれるニューラルボルモグラフィー技術を提案する。 NeuVVは動的神経放射場(NeRF)をレンダリング可能で編集可能なプリミティブに符号化する。 さらに,コンシューマレベルのVRヘッドセットをサポートするハイブリッドなニューラルラスタライズレンダリングフレームワークを開発した。
  論文  参考訳（メタデータ） (2022-02-12T15:23:16Z)
• HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
  本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。 まず,人体表面の高密度UV多様体上での人間の動きを符号化する。 次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
  論文  参考訳（メタデータ） (2021-12-19T17:34:15Z)
• Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality [11.969281058344581]
  高品質な3dグラフィックスは、レンダリングのために大量の詳細なシーンデータを必要とする。 この問題に対処する最近のアプローチには、リモートレンダリング/ストリーミングと3Dアセットのニューラル表現がある。 本稿では,最初の視線提示型3Dニューラル表現とビュー合成法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T14:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。