論文の概要: VR-NeRF: High-Fidelity Virtualized Walkable Spaces

• arxiv url: http://arxiv.org/abs/2311.02542v1
• Date: Sun, 5 Nov 2023 02:03:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 17:04:12.558993
• Title: VR-NeRF: High-Fidelity Virtualized Walkable Spaces
• Title（参考訳）: vr-nerf:高忠実度バーチャルウォーク可能な空間
• Authors: Linning Xu, Vasu Agrawal, William Laney, Tony Garcia, Aayush Bansal, Changil Kim, Samuel Rota Bul\`o, Lorenzo Porzi, Peter Kontschieder, Alja\v{z} Bo\v{z}i\v{c}, Dahua Lin, Michael Zollh\"ofer, Christian Richardt
• Abstract要約: 本稿では,高忠実度キャプチャ,モデル再構成,リアルタイムレンダリングのためのエンドツーエンドシステムを提案する。
• 参考スコア（独自算出の注目度）: 55.51127858816994
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present an end-to-end system for the high-fidelity capture, model reconstruction, and real-time rendering of walkable spaces in virtual reality using neural radiance fields. To this end, we designed and built a custom multi-camera rig to densely capture walkable spaces in high fidelity and with multi-view high dynamic range images in unprecedented quality and density. We extend instant neural graphics primitives with a novel perceptual color space for learning accurate HDR appearance, and an efficient mip-mapping mechanism for level-of-detail rendering with anti-aliasing, while carefully optimizing the trade-off between quality and speed. Our multi-GPU renderer enables high-fidelity volume rendering of our neural radiance field model at the full VR resolution of dual 2K$\times$2K at 36 Hz on our custom demo machine. We demonstrate the quality of our results on our challenging high-fidelity datasets, and compare our method and datasets to existing baselines. We release our dataset on our project website.
• Abstract（参考訳）: 本稿では,ニューラルネットワークを用いた仮想現実における歩行可能空間の高忠実度キャプチャ,モデル再構成,リアルタイムレンダリングのためのエンド・ツー・エンドシステムを提案する。 そこで我々は,高忠実度かつ多視点高ダイナミックレンジ画像を前代未聞の品質と密度で高精細にキャプチャする,カスタムなマルチカメラリグを設計・構築した。 HDRの正確な外観を学習するための新しい知覚色空間と、アンチエイリアスによるレベル・オブ・ディーテールレンダリングのための効率的なミップ・マッピング機構を、品質とスピードのトレードオフを慎重に最適化しながら拡張する。 我々のマルチGPUレンダラは、私たちのカスタムデモマシンで2K$\times$2KのフルVR解像度で、私たちのニューラルラディアンスフィールドモデルの高忠実なボリュームレンダリングを可能にします。 課題のある高忠実度データセットで結果の品質を実証し、メソッドとデータセットを既存のベースラインと比較する。 当社のプロジェクトwebサイトでデータセットをリリースします。

関連論文リスト

• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams [56.00479598817949]
  VideoRFは、モバイルプラットフォーム上で動的ラディアンスフィールドのリアルタイムストリーミングとレンダリングを可能にする最初のアプローチである。 特徴画像ストリームを2次元ビデオコーデックで効率よく圧縮できることを示す。 我々は動的シーンのオンラインストリーミングとレンダリングを可能にするリアルタイムインタラクティブプレーヤーを開発した。
  論文  参考訳（メタデータ） (2023-12-03T14:14:35Z)
• EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction on Mobile Devices [53.28220984270622]
  モバイル端末に暗黙的テクスチャを付加したtextbfSurf$ace 再構成手法を提案する。 提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。 我々の方法は1つのGPUを使ってたった1～2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
  論文  参考訳（メタデータ） (2023-11-16T11:30:56Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• NeuralField-LDM: Scene Generation with Hierarchical Latent Diffusion Models [85.20004959780132]
  複雑な3D環境を合成できる生成モデルであるNeuralField-LDMを紹介する。 NeuralField-LDMは,条件付きシーン生成,シーンインペインティング,シーンスタイル操作など,さまざまな3Dコンテンツ作成アプリケーションに利用できることを示す。
  論文  参考訳（メタデータ） (2023-04-19T16:13:21Z)
• Immersive Neural Graphics Primitives [13.48024951446282]
  我々は没入型VRのシーンをレンダリングできるNeRFベースのフレームワークを提示し、評価する。 我々のアプローチでは、毎秒30フレームのフレームレートで、1眼あたり1280×720ピクセルの解像度が得られる。
  論文  参考訳（メタデータ） (2022-11-24T09:33:38Z)
• NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields [99.57774680640581]
  本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
  論文  参考訳（メタデータ） (2022-10-28T07:11:05Z)
• Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
  従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。 本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。 我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
  論文  参考訳（メタデータ） (2022-09-18T03:58:00Z)
• Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality [11.969281058344581]
  高品質な3dグラフィックスは、レンダリングのために大量の詳細なシーンデータを必要とする。 この問題に対処する最近のアプローチには、リモートレンダリング/ストリーミングと3Dアセットのニューラル表現がある。 本稿では,最初の視線提示型3Dニューラル表現とビュー合成法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T14:05:47Z)
• Neural Lumigraph Rendering [33.676795978166375]
  最先端の(SOTA)ニューラルボリュームレンダリングアプローチは、トレーニングが遅く、高い画像解像度のために数分の推論(レンダリング)時間を必要とします。 本研究では,2次元画像のみを監督するシーンの暗黙の面と放射界を協調的に最適化するために,周期的アクティベーションを伴う高容量なニューラルシーン表現を採用する。 我々のニューラルレンダリングパイプラインは、SOTAニューラルボリュームレンダリングを約2桁加速し、暗黙のサーフェス表現は、ビュー依存テクスチャ情報によるメッシュのエクスポートを可能にするユニークなものです。
  論文  参考訳（メタデータ） (2021-03-22T03:46:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。