論文の概要: Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual
Reality
- arxiv url: http://arxiv.org/abs/2103.16365v1
- Date: Tue, 30 Mar 2021 14:05:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-31 18:29:25.392178
- Title: Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual
Reality
- Title（参考訳）: リアルタイム・エゴセントリックバーチャルリアリティのためのニューラルネットワークフィールド
- Authors: Nianchen Deng and Zhenyi He and Jiannan Ye and Praneeth Chakravarthula
and Xubo Yang and Qi Sun
- Abstract要約: 高品質な3dグラフィックスは、レンダリングのために大量の詳細なシーンデータを必要とする。
この問題に対処する最近のアプローチには、リモートレンダリング/ストリーミングと3Dアセットのニューラル表現がある。
本稿では,最初の視線提示型3Dニューラル表現とビュー合成法を提案する。
- 参考スコア（独自算出の注目度）: 11.969281058344581
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional high-quality 3D graphics requires large volumes of fine-detailed
scene data for rendering. This demand compromises computational efficiency and
local storage resources. Specifically, it becomes more concerning for future
wearable and portable virtual and augmented reality (VR/AR) displays. Recent
approaches to combat this problem include remote rendering/streaming and neural
representations of 3D assets. These approaches have redefined the traditional
local storage-rendering pipeline by distributed computing or compression of
large data. However, these methods typically suffer from high latency or low
quality for practical visualization of large immersive virtual scenes, notably
with extra high resolution and refresh rate requirements for VR applications
such as gaming and design.
Tailored for the future portable, low-storage, and energy-efficient VR
platforms, we present the first gaze-contingent 3D neural representation and
view synthesis method. We incorporate the human psychophysics of visual- and
stereo-acuity into an egocentric neural representation of 3D scenery.
Furthermore, we jointly optimize the latency/performance and visual quality,
while mutually bridging human perception and neural scene synthesis, to achieve
perceptually high-quality immersive interaction. Both objective analysis and
subjective study demonstrate the effectiveness of our approach in significantly
reducing local storage volume and synthesis latency (up to 99% reduction in
both data size and computational time), while simultaneously presenting
high-fidelity rendering, with perceptual quality identical to that of fully
locally stored and rendered high-quality imagery.
- Abstract（参考訳）: 従来の高品質な3dグラフィックは、レンダリングに大量の詳細なシーンデータを必要とする。
この要求は計算効率とローカルストレージ資源を損なう。
具体的には、将来のウェアラブルおよびポータブルバーチャルおよび拡張現実(VR/AR)ディスプレイについて、より重要になる。
この問題に対処する最近のアプローチには、リモートレンダリング/ストリーミングと3Dアセットのニューラル表現がある。
これらのアプローチは、分散コンピューティングや大規模データの圧縮によって、従来のローカルストレージレンダリングパイプラインを再定義した。
しかし、これらの方法は通常、大きな没入型仮想シーンを現実的に可視化するために高いレイテンシや低品質に苦しめられ、特にゲームやデザインのようなvrアプリケーションでは、さらに高い解像度とリフレッシュレートの要求がある。
将来の携帯型・低記憶型・省エネ型VRプラットフォームを目指して,我々は初めて視線を呈する3Dニューラル表現とビュー合成法を提案する。
視覚と立体視力の人間の心理物理学を3次元風景のエゴセントリックな神経表現に取り入れる。
さらに、人間の知覚と神経シーン合成を相互に橋渡ししながら、レイテンシ/パフォーマンスと視覚品質を共同で最適化し、知覚的に高品質な没入的相互作用を実現する。
客観的解析と主観的研究の両方が,局所記憶量と合成遅延を著しく削減する(データサイズと計算時間の両方を最大99%削減する)と同時に,完全局所記憶および高画質画像と同一の知覚的品質の高忠実性レンダリングを同時に提示する手法の有効性を実証した。
関連論文リスト
- VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points [4.962171160815189]
仮想現実システムの高性能な要求は、3DGSのような高速なシーン表現を活用する上で課題となる。
これらの障害に対する有望な解決策として、ファベレーテッドレンダリングを提案する。
本手法では, 周辺視の3DGSのスムーズなレンダリングと融合した, 周辺領域の神経点レンダリングのシャープで詳細な出力を生かした, 仮想現実感のための新たなファブリックレンダリング手法を提案する。
論文 参考訳（メタデータ） (2024-10-23T14:54:48Z) - HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。
本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。
仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
論文 参考訳（メタデータ） (2023-12-05T22:04:49Z) - VR-NeRF: High-Fidelity Virtualized Walkable Spaces [55.51127858816994]
本稿では,高忠実度キャプチャ,モデル再構成,リアルタイムレンダリングのためのエンドツーエンドシステムを提案する。
論文 参考訳（メタデータ） (2023-11-05T02:03:14Z) - 3D Gaussian Splatting for Real-Time Radiance Field Rendering [4.320393382724066]
競争力のあるトレーニング時間を維持しながら、最先端の視覚的品質を達成するための3つの重要な要素を紹介します。
いくつかの確立したデータセット上で、最先端の視覚的品質とリアルタイムレンダリングを実証する。
論文 参考訳（メタデータ） (2023-08-08T06:37:06Z) - Real-time volumetric rendering of dynamic humans [83.08068677139822]
本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。
提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。
新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
論文 参考訳（メタデータ） (2023-03-21T14:41:25Z) - NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed
Neural Radiance Fields [99.57774680640581]
本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。
本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
論文 参考訳（メタデータ） (2022-10-28T07:11:05Z) - Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。
本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。
我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
論文 参考訳（メタデータ） (2022-09-18T03:58:00Z) - HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。
まず,人体表面の高密度UV多様体上での人間の動きを符号化する。
次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
論文 参考訳（メタデータ） (2021-12-19T17:34:15Z) - Neural Lumigraph Rendering [33.676795978166375]
最先端の(SOTA)ニューラルボリュームレンダリングアプローチは、トレーニングが遅く、高い画像解像度のために数分の推論(レンダリング)時間を必要とします。
本研究では,2次元画像のみを監督するシーンの暗黙の面と放射界を協調的に最適化するために,周期的アクティベーションを伴う高容量なニューラルシーン表現を採用する。
我々のニューラルレンダリングパイプラインは、SOTAニューラルボリュームレンダリングを約2桁加速し、暗黙のサーフェス表現は、ビュー依存テクスチャ情報によるメッシュのエクスポートを可能にするユニークなものです。
論文 参考訳（メタデータ） (2021-03-22T03:46:05Z) - Object-based Illumination Estimation with Rendering-aware Neural
Networks [56.01734918693844]
個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。
推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
論文 参考訳（メタデータ） (2020-08-06T08:23:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。