論文の概要: VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points

• arxiv url: http://arxiv.org/abs/2410.17932v1
• Date: Wed, 23 Oct 2024 14:54:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:54:58.738133
• Title: VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points
• Title（参考訳）: VR-Splatting:3次元ガウススプレイティングとニューラルポイントによるFoveated Radiance Field Rendering
• Authors: Linus Franke, Laura Fink, Marc Stamminger,
• Abstract要約: 仮想現実システムの高性能な要求は、3DGSのような高速なシーン表現を活用する上で課題となる。 これらの障害に対する有望な解決策として、ファベレーテッドレンダリングを提案する。 本手法では, 周辺視の3DGSのスムーズなレンダリングと融合した, 周辺領域の神経点レンダリングのシャープで詳細な出力を生かした, 仮想現実感のための新たなファブリックレンダリング手法を提案する。
• 参考スコア（独自算出の注目度）: 4.962171160815189
• License:
• Abstract: Recent advances in novel view synthesis (NVS), particularly neural radiance fields (NeRF) and Gaussian splatting (3DGS), have demonstrated impressive results in photorealistic scene rendering. These techniques hold great potential for applications in virtual tourism and teleportation, where immersive realism is crucial. However, the high-performance demands of virtual reality (VR) systems present challenges in directly utilizing even such fast-to-render scene representations like 3DGS due to latency and computational constraints. In this paper, we propose foveated rendering as a promising solution to these obstacles. We analyze state-of-the-art NVS methods with respect to their rendering performance and compatibility with the human visual system. Our approach introduces a novel foveated rendering approach for Virtual Reality, that leverages the sharp, detailed output of neural point rendering for the foveal region, fused with a smooth rendering of 3DGS for the peripheral vision. Our evaluation confirms that perceived sharpness and detail-richness are increased by our approach compared to a standard VR-ready 3DGS configuration. Our system meets the necessary performance requirements for real-time VR interactions, ultimately enhancing the user's immersive experience. Project page: https://lfranke.github.io/vr_splatting
• Abstract（参考訳）: ニューラル・ビュー・シンセサイザー(NVS)、特にニューラル・レイディアンス・フィールド(NeRF)とガウス・スプラッティング(Gaussian splatting)(3DGS)の進歩は、フォトリアリスティック・シーン・レンダリングにおいて顕著な成果を示した。 これらの技術は、没入的リアリズムが不可欠である仮想観光やテレポーテーションの応用に大きな可能性を秘めている。 しかし、仮想現実(VR)システムの高性能な要求は、レイテンシや計算上の制約のため、3DGSのような高速なシーン表現を直接活用する上で困難である。 本稿では,これらの障害に対する有望な解決策として,ファブリケートレンダリングを提案する。 我々は、そのレンダリング性能と人間の視覚システムとの互換性について、最先端のNVS手法を解析する。 本手法では, 周辺視の3DGSのスムーズなレンダリングと融合した, 周辺領域の神経点レンダリングのシャープで詳細な出力を生かした, 仮想現実感のための新たなファブリックレンダリング手法を提案する。 評価の結果,標準的なVR対応3DGS構成と比較して,シャープさやディテールリッチネスが向上していることが確認された。 我々のシステムは、リアルタイムVRインタラクションに必要なパフォーマンス要件を満たし、究極的にはユーザの没入感を高めます。 プロジェクトページ: https://lfranke.github.io/vr_splatting

関連論文リスト

• OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering [55.50438181721271]
  表面レンダリングにNeRFを用いた従来手法では,閉鎖領域の復元には1日以上,閉塞領域のレンダリングには数秒を要していた。 OccGaussianは3D Gaussian Splattingをベースとして6分以内でトレーニングが可能で,最大160FPSまでの高品質な人体レンダリングを実現する。
  論文  参考訳（メタデータ） (2024-04-12T13:00:06Z)
• VR-GS: A Physical Dynamics-Aware Interactive Gaussian Splatting System in Virtual Reality [39.53150683721031]
  提案するVR-GSシステムは,人間中心の3Dコンテンツインタラクションにおける飛躍的な進歩を示す。 私たちの仮想現実システムのコンポーネントは、高い効率と有効性のために設計されています。
  論文  参考訳（メタデータ） (2024-01-30T01:28:36Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• VR-NeRF: High-Fidelity Virtualized Walkable Spaces [55.51127858816994]
  本稿では,高忠実度キャプチャ,モデル再構成,リアルタイムレンダリングのためのエンドツーエンドシステムを提案する。
  論文  参考訳（メタデータ） (2023-11-05T02:03:14Z)
• ABLE-NeRF: Attention-Based Rendering with Learnable Embeddings for Neural Radiance Field [20.986012773294714]
  我々は,光線に沿ったボリュームに自己注意型フレームワークを導入することで,物理ベースのVRアプローチに代わる方法を提案する。 ABLE-NeRFと呼ばれるこの手法は、レンダリングにおける光沢のある表面のぼやけを著しく低減し、先行技術に欠ける現実的な半透明な表面を生成する。
  論文  参考訳（メタデータ） (2023-03-24T05:34:39Z)
• Immersive Neural Graphics Primitives [13.48024951446282]
  我々は没入型VRのシーンをレンダリングできるNeRFベースのフレームワークを提示し、評価する。 我々のアプローチでは、毎秒30フレームのフレームレートで、1眼あたり1280×720ピクセルの解像度が得られる。
  論文  参考訳（メタデータ） (2022-11-24T09:33:38Z)
• NeuVV: Neural Volumetric Videos with Immersive Rendering and Editing [34.40837543752915]
  本稿では, 没入型, 対話型, 時空間レンダリングをサポートするニューラルボリュームビデオ(NeuVV)と呼ばれるニューラルボルモグラフィー技術を提案する。 NeuVVは動的神経放射場(NeRF)をレンダリング可能で編集可能なプリミティブに符号化する。 さらに,コンシューマレベルのVRヘッドセットをサポートするハイブリッドなニューラルラスタライズレンダリングフレームワークを開発した。
  論文  参考訳（メタデータ） (2022-02-12T15:23:16Z)
• HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
  本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。 まず,人体表面の高密度UV多様体上での人間の動きを符号化する。 次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
  論文  参考訳（メタデータ） (2021-12-19T17:34:15Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality [11.969281058344581]
  高品質な3dグラフィックスは、レンダリングのために大量の詳細なシーンデータを必要とする。 この問題に対処する最近のアプローチには、リモートレンダリング/ストリーミングと3Dアセットのニューラル表現がある。 本稿では,最初の視線提示型3Dニューラル表現とビュー合成法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T14:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。