論文の概要: Representing Volumetric Videos as Dynamic MLP Maps

• arxiv url: http://arxiv.org/abs/2304.06717v1
• Date: Thu, 13 Apr 2023 17:59:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 13:20:31.114127
• Title: Representing Volumetric Videos as Dynamic MLP Maps
• Title（参考訳）: ダイナミックMLPマップとしてのボリュームビデオの表現
• Authors: Sida Peng, Yunzhi Yan, Qing Shuai, Hujun Bao, Xiaowei Zhou
• Abstract要約: 本稿では,動的シーンをリアルタイムに見るための新しいラディアンスビデオの表現について紹介する。 提案手法は、3090 GPU上の512倍の512ドルの画像に対して、41.7 fpsの高速なリアルタイムレンダリングを実現するとともに、最先端のレンダリング品質を実現する。
• 参考スコア（独自算出の注目度）: 46.08087687477586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a novel representation of volumetric videos for real-time view synthesis of dynamic scenes. Recent advances in neural scene representations demonstrate their remarkable capability to model and render complex static scenes, but extending them to represent dynamic scenes is not straightforward due to their slow rendering speed or high storage cost. To solve this problem, our key idea is to represent the radiance field of each frame as a set of shallow MLP networks whose parameters are stored in 2D grids, called MLP maps, and dynamically predicted by a 2D CNN decoder shared by all frames. Representing 3D scenes with shallow MLPs significantly improves the rendering speed, while dynamically predicting MLP parameters with a shared 2D CNN instead of explicitly storing them leads to low storage cost. Experiments show that the proposed approach achieves state-of-the-art rendering quality on the NHR and ZJU-MoCap datasets, while being efficient for real-time rendering with a speed of 41.7 fps for $512 \times 512$ images on an RTX 3090 GPU. The code is available at https://zju3dv.github.io/mlp_maps/.
• Abstract（参考訳）: 本稿では,ダイナミックシーンのリアルタイムビュー合成のためのボリュームビデオの表現について紹介する。 近年のニューラル・シーン表現の進歩は、複雑な静的なシーンをモデル化しレンダリングする能力を示すが、動的シーンを表現するために拡張するのは、レンダリング速度の遅いか、ストレージコストが高いため簡単ではない。 この問題を解決するために、我々は各フレームの放射界を、MLPマップと呼ばれる2次元グリッドにパラメータを格納し、全てのフレームで共有される2次元CNNデコーダによって動的に予測される浅いMLPネットワークの集合として表現する。 3Dシーンを浅いMLPで表現することでレンダリング速度が大幅に向上する一方で、共有2D CNNでMPPパラメータを動的に予測することで、ストレージコストの低減につながる。 実験により、提案手法はnhrおよびzju-mocapデータセットで最先端のレンダリング品質を達成でき、rtx 3090 gpu上で41.7 fpsで512 \times 512$イメージのリアルタイムレンダリングに効率的であることが示されている。 コードはhttps://zju3dv.github.io/mlp_maps/で入手できる。

関連論文リスト

• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• Im4D: High-Fidelity and Real-Time Novel View Synthesis for Dynamic Scenes [69.52540205439989]
  グリッドベースの幾何表現と多視点画像に基づく外観表現からなるハイブリッド表現であるIm4Dを紹介する。 画像の特徴から3Dポイントの色を予測することを学習する,オリジナルのマルチビュービデオとネットワークによってシーンの外観を表現する。 我々は,512x512画像に対して,79.8 FPSのリアルタイムレンダリングを実現しつつ,レンダリング品質が向上し,効率よくトレーニングできるIm4Dの最先端性能を示す。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering [103.32717396287751]
  本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。 HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。 我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-10-12T17:21:41Z)
• Urban Radiance Field Representation with Deformable Neural Mesh Primitives [41.104140341641006]
  変形可能なニューラルメッシュプリミティブ(Deformable Neural Mesh Primitive, DNMP)は、古典的メッシュ表現の柔軟でコンパクトなニューラルバリアントである。 我々の表現は高速レンダリング(2.07ms/1kピクセル)と低ピークメモリ(110MB/1kピクセル)を可能にする。 我々は、33$times$でバニラNeRFより高速に動作でき、高度に最適化されたInstant-NGP(0.61対0.71ms/1kピクセル)に匹敵する軽量版を示す。
  論文  参考訳（メタデータ） (2023-07-20T11:24:55Z)
• NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields [99.57774680640581]
  本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
  論文  参考訳（メタデータ） (2022-10-28T07:11:05Z)
• Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
  我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。 一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
  論文  参考訳（メタデータ） (2022-10-13T08:15:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。