論文の概要: NeuVV: Neural Volumetric Videos with Immersive Rendering and Editing

• arxiv url: http://arxiv.org/abs/2202.06088v1
• Date: Sat, 12 Feb 2022 15:23:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-02-17 12:30:28.432393
• Title: NeuVV: Neural Volumetric Videos with Immersive Rendering and Editing
• Title（参考訳）: NeuVV:没入型レンダリングと編集によるニューラルボリュームビデオ
• Authors: Jiakai Zhang, Liao Wang, Xinhang Liu, Fuqiang Zhao, Minzhang Li, Haizhao Dai, Boyuan Zhang, Wei Yang, Lan Xu and Jingyi Yu
• Abstract要約: 本稿では, 没入型, 対話型, 時空間レンダリングをサポートするニューラルボリュームビデオ(NeuVV)と呼ばれるニューラルボルモグラフィー技術を提案する。 NeuVVは動的神経放射場(NeRF)をレンダリング可能で編集可能なプリミティブに符号化する。 さらに,コンシューマレベルのVRヘッドセットをサポートするハイブリッドなニューラルラスタライズレンダリングフレームワークを開発した。
• 参考スコア（独自算出の注目度）: 34.40837543752915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Some of the most exciting experiences that Metaverse promises to offer, for instance, live interactions with virtual characters in virtual environments, require real-time photo-realistic rendering. 3D reconstruction approaches to rendering, active or passive, still require extensive cleanup work to fix the meshes or point clouds. In this paper, we present a neural volumography technique called neural volumetric video or NeuVV to support immersive, interactive, and spatial-temporal rendering of volumetric video contents with photo-realism and in real-time. The core of NeuVV is to efficiently encode a dynamic neural radiance field (NeRF) into renderable and editable primitives. We introduce two types of factorization schemes: a hyper-spherical harmonics (HH) decomposition for modeling smooth color variations over space and time and a learnable basis representation for modeling abrupt density and color changes caused by motion. NeuVV factorization can be integrated into a Video Octree (VOctree) analogous to PlenOctree to significantly accelerate training while reducing memory overhead. Real-time NeuVV rendering further enables a class of immersive content editing tools. Specifically, NeuVV treats each VOctree as a primitive and implements volume-based depth ordering and alpha blending to realize spatial-temporal compositions for content re-purposing. For example, we demonstrate positioning varied manifestations of the same performance at different 3D locations with different timing, adjusting color/texture of the performer's clothing, casting spotlight shadows and synthesizing distance falloff lighting, etc, all at an interactive speed. We further develop a hybrid neural-rasterization rendering framework to support consumer-level VR headsets so that the aforementioned volumetric video viewing and editing, for the first time, can be conducted immersively in virtual 3D space.
• Abstract（参考訳）: metaverseが約束している最もエキサイティングな体験のいくつかは、例えば、仮想環境における仮想文字とのライブインタラクションは、リアルタイムのフォトリアリスティックなレンダリングを必要とする。 3D再構築によるレンダリング、アクティブ、あるいはパッシブなアプローチでは、メッシュやポイントクラウドの修正には大規模なクリーンアップ作業が必要になる。 本稿では,ニューラルボリュームビデオ (neural volumetric video) またはニューラルボリュームビデオ (neuvv) と呼ばれる,ボリュームビデオコンテンツの没入的,対話的,空間的,時間的レンダリングを支援するニューラルフォルムグラフィ手法を提案する。 NeuVVのコアは、動的神経放射場(NeRF)をレンダリング可能で編集可能なプリミティブに効率的にエンコードすることである。 本稿では,空間と時間のスムーズな色変化をモデル化するための超球面調和(HH)分解法と,急激な密度と動きによる色変化をモデル化するための学習可能な基底表現法を提案する。 NeuVV の分解は PlenOctree に類似した Video Octree (VOctree) に統合でき、メモリオーバーヘッドを減らしながらトレーニングを大幅に高速化できる。 リアルタイムneuvvレンダリングはさらに没入型コンテンツ編集ツールのクラスを可能にする。 具体的には、NeuVVは各VOctreeをプリミティブとして扱い、ボリュームベースの深度順序付けとアルファブレンディングを実装し、コンテンツ再購入のための時空間合成を実現する。 例えば、異なるタイミングで異なる3D地点で同じパフォーマンスの異なる位置を示すこと、パフォーマーの衣服の色やテクスチャを調整すること、スポットライトシャドウを鋳造すること、距離のオフライトを合成すること等をインタラクティブな速度で示す。 さらに,仮想3d空間において,前述のボリュームビデオの視聴と編集を初めて行えるように,コンシューマレベルのvrヘッドセットをサポートするハイブリッドニューラルラステリゼーションレンダリングフレームワークの開発を行った。

関連論文リスト

• iVR-GS: Inverse Volume Rendering for Explorable Visualization via Editable 3D Gaussian Splatting [8.689359004580258]
  本稿では,ガウススプラッティング(iVR-GS)による逆ボリュームレンダリングを提案する。 iVR-GSは、インタラクティブなボリューム探索のためのシーン編集を可能にしながら、レンダリングコストを削減する。 我々は,他のNVSソリューションと比較して,iVR-GSの再現性や構成性に優れることを示す。
  論文  参考訳（メタデータ） (2025-04-24T21:56:53Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Neural Assets: Volumetric Object Capture and Rendering for Interactive Environments [8.258451067861932]
  本研究では,現実の物体を日常の環境に忠実かつ迅速に捕獲する手法を提案する。 我々は、新しい神経表現を用いて、透明な物体部品などの効果を再構築し、物体の外観を保ちます。 これにより、提案されたニューラルネットワークアセットを既存のメッシュ環境やオブジェクトとシームレスに統合することが可能になる。
  論文  参考訳（メタデータ） (2022-12-12T18:55:03Z)
• NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields [99.57774680640581]
  本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
  論文  参考訳（メタデータ） (2022-10-28T07:11:05Z)
• FNeVR: Neural Volume Rendering for Face Animation [53.92664037596834]
  本研究では,2次元モーションワープと3次元ボリュームレンダリングの可能性を探るため,FNeVRネットワークを提案する。 FNeVRでは、画像レンダリングのための顔の詳細を強化するために、FVRモジュールを設計する。 また、軽量なポーズエディタを設計し、FNeVRが簡単にかつ効果的に顔のポーズを編集できるようにする。
  論文  参考訳（メタデータ） (2022-09-21T13:18:59Z)
• Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
  従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。 本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。 我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
  論文  参考訳（メタデータ） (2022-09-18T03:58:00Z)
• KiloNeuS: Implicit Neural Representations with Real-Time Global Illumination [1.5749416770494706]
  我々は、インタラクティブなフレームレートでパストレーシングシーンで描画できる新しいニューラルオブジェクト表現であるKiloNeuSを紹介する。 KiloNeuSは、共有シーンにおけるニューラルネットワークと古典的プリミティブ間の現実的な光相互作用のシミュレーションを可能にする。
  論文  参考訳（メタデータ） (2022-06-22T07:33:26Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
  本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。 まず,人体表面の高密度UV多様体上での人間の動きを符号化する。 次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
  論文  参考訳（メタデータ） (2021-12-19T17:34:15Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。