論文の概要: A3FR: Agile 3D Gaussian Splatting with Incremental Gaze Tracked Foveated Rendering in Virtual Reality
- arxiv url: http://arxiv.org/abs/2507.04147v1
- Date: Sat, 05 Jul 2025 19:55:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:35.04012
- Title: A3FR: Agile 3D Gaussian Splatting with Incremental Gaze Tracked Foveated Rendering in Virtual Reality
- Title(参考訳): A3FR: クリメンタル・ゲイズをトラックしたバーチャルリアリティのレンダリングを備えたアジャイル3Dガウス・スプレイティング
- Authors: Shuo Xin, Haiyu Wang, Sai Qian Zhang,
- Abstract要約: 我々は、視線追跡されたフェーベレートレンダリングのレイテンシを最小限に抑えるために、textitA3FRと呼ばれる効率的なレンダリングフレームワークを提案する。
レンダリングアルゴリズムでは,最先端のニューラルレンダリング技術である3D Gaussian Splattingを利用する。
- 参考スコア(独自算出の注目度): 4.604414186645244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Virtual reality (VR) significantly transforms immersive digital interfaces, greatly enhancing education, professional practices, and entertainment by increasing user engagement and opening up new possibilities in various industries. Among its numerous applications, image rendering is crucial. Nevertheless, rendering methodologies like 3D Gaussian Splatting impose high computational demands, driven predominantly by user expectations for superior visual quality. This results in notable processing delays for real-time image rendering, which greatly affects the user experience. Additionally, VR devices such as head-mounted displays (HMDs) are intricately linked to human visual behavior, leveraging knowledge from perception and cognition to improve user experience. These insights have spurred the development of foveated rendering, a technique that dynamically adjusts rendering resolution based on the user's gaze direction. The resultant solution, known as gaze-tracked foveated rendering, significantly reduces the computational burden of the rendering process. Although gaze-tracked foveated rendering can reduce rendering costs, the computational overhead of the gaze tracking process itself can sometimes outweigh the rendering savings, leading to increased processing latency. To address this issue, we propose an efficient rendering framework called~\textit{A3FR}, designed to minimize the latency of gaze-tracked foveated rendering via the parallelization of gaze tracking and foveated rendering processes. For the rendering algorithm, we utilize 3D Gaussian Splatting, a state-of-the-art neural rendering technique. Evaluation results demonstrate that A3FR can reduce end-to-end rendering latency by up to $2\times$ while maintaining visual quality.
- Abstract(参考訳): バーチャルリアリティ(VR)は、没入型デジタルインターフェースを著しく変革し、ユーザエンゲージメントを高め、さまざまな業界で新たな可能性を開くことによって、教育、専門的プラクティス、エンターテイメントを大幅に強化する。
多数のアプリケーションの中で、画像レンダリングは不可欠である。
それでも、3D Gaussian Splattingのようなレンダリング手法は高い計算要求を課す。
これにより、リアルタイム画像レンダリングの処理遅延が顕著になり、ユーザエクスペリエンスに大きな影響を与えます。
さらに、ヘッドマウントディスプレイ(HMD)のようなVRデバイスは、人間の視覚行動と複雑に結びついており、認知や認知からの知識を活用してユーザー体験を改善する。
これらの知見は、ユーザの視線方向に基づいてレンダリングの解像度を動的に調整する技術である、ファベーテッドレンダリングの開発を加速させた。
結果として得られる解は、視線追跡葉レンダリング(gage-tracked foveated rendering)と呼ばれ、レンダリングプロセスの計算負担を大幅に削減する。
視線追跡された望ましくないレンダリングはレンダリングコストを削減できるが、視線追跡プロセス自体の計算オーバーヘッドは、レンダリングの節約を上回り、処理の遅延が増大することがある。
そこで本研究では,視線追跡とフェーブレンダリングプロセスの並列化により,視線追跡されたフェーブレンダリングの遅延を最小限に抑えるための,効率的なレンダリングフレームワークである~\textit{A3FR}を提案する。
レンダリングアルゴリズムでは,最先端のニューラルレンダリング技術である3D Gaussian Splattingを利用する。
評価結果は、A3FRが視覚的品質を維持しながら、エンドツーエンドのレンダリング遅延を最大2\times$まで削減できることを示している。
関連論文リスト
- Virtual Memory for 3D Gaussian Splatting [1.278093617645299]
ガウスの版画は、新しいビューレンダリングの分野における画期的な分野である。
近年の進歩は、作成できるスプレイティングシーンのサイズを増大させてきた。
論文 参考訳(メタデータ) (2025-06-24T08:31:33Z) - Visual Acuity Consistent Foveated Rendering towards Retinal Resolution [11.230872127138548]
本稿では、網膜レベルの解像度で異常なレンダリング性能を実現することを目的とした、視力に一貫性のあるフェーベレートレンダリング(VaFR)を提案する。
本稿では,視覚系の自然な帯域幅に対応する,人間の視覚力モデルから導出した新しい対数極性マッピング関数を提案する。
本手法は2眼8Kパスの描画性能を大幅に向上させ,スムーズなフレームレートを実現する。
論文 参考訳(メタデータ) (2025-03-30T12:09:12Z) - VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points [4.962171160815189]
本稿では,パフォーマンススイートスポットに関する両点描画方向の長所を結合した,新しいハイブリッドアプローチを提案する。
焦点のみの場合、我々は小さなピクセルフットプリントのために畳み込みニューラルネットワークでニューラルネットワークを使用し、鋭く詳細な出力を提供する。
提案手法は,標準的なVR対応3DGS構成と比較して,シャープネスとディテールが向上することを確認した。
論文 参考訳(メタデータ) (2024-10-23T14:54:48Z) - Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion [54.197343533492486]
Event3DGSは高速移動下で高忠実度3D構造と外観を再構築することができる。
複数の合成および実世界のデータセットの実験は、既存のイベントベースの高密度な3Dシーン再構築フレームワークと比較して、Event3DGSの優位性を示している。
また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。
論文 参考訳(メタデータ) (2024-06-05T06:06:03Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction [53.28220984270622]
3次元再構成法はリアルタイムに3次元整合性のある高忠実度結果を生成する。
提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。
我々の方法は1つのGPUを使ってたった1~2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
論文 参考訳(メタデータ) (2023-11-16T11:30:56Z) - Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual
Reality [11.969281058344581]
高品質な3dグラフィックスは、レンダリングのために大量の詳細なシーンデータを必要とする。
この問題に対処する最近のアプローチには、リモートレンダリング/ストリーミングと3Dアセットのニューラル表現がある。
本稿では,最初の視線提示型3Dニューラル表現とビュー合成法を提案する。
論文 参考訳(メタデータ) (2021-03-30T14:05:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。