論文の概要: NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2210.15947v1
• Date: Fri, 28 Oct 2022 07:11:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 17:46:00.432797
• Title: NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields
• Title（参考訳）: NeRFPlayer: 分解されたニューラルラジアンスフィールドによるストリーミング可能な動的シーン表現
• Authors: Liangchen Song, Anpei Chen, Zhong Li, Zhang Chen, Lele Chen, Junsong Yuan, Yi Xu, Andreas Geiger
• Abstract要約: 本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
• 参考スコア（独自算出の注目度）: 99.57774680640581
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Visually exploring in a real-world 4D spatiotemporal space freely in VR has been a long-term quest. The task is especially appealing when only a few or even single RGB cameras are used for capturing the dynamic scene. To this end, we present an efficient framework capable of fast reconstruction, compact modeling, and streamable rendering. First, we propose to decompose the 4D spatiotemporal space according to temporal characteristics. Points in the 4D space are associated with probabilities of belonging to three categories: static, deforming, and new areas. Each area is represented and regularized by a separate neural field. Second, we propose a hybrid representations based feature streaming scheme for efficiently modeling the neural fields. Our approach, coined NeRFPlayer, is evaluated on dynamic scenes captured by single hand-held cameras and multi-camera arrays, achieving comparable or superior rendering performance in terms of quality and speed comparable to recent state-of-the-art methods, achieving reconstruction in 10 seconds per frame and real-time rendering.
• Abstract（参考訳）: 現実世界の4d空間をvrで自由に探索することは、長年の課題だった。 ダイナミックなシーンを撮影するために、RGBカメラを数台、あるいは1台だけ使うと、特に魅力的だ。 そこで本稿では,高速再構成,コンパクトモデリング,ストリームレンダリングが可能な効率的なフレームワークを提案する。 まず,時間特性に応じて4次元時空間を分解することを提案する。 4D空間の点は、静的、変形、新しい領域の3つのカテゴリに属する確率と関連している。 各領域は別個のニューラルネットワークによって表現され、規則化される。 第2に,ニューラルフィールドを効率的にモデル化するためのハイブリッド表現に基づく特徴ストリーミングスキームを提案する。 我々の手法であるNeRFPlayerは、単一ハンドヘルドカメラとマルチカメラアレイによってキャプチャされた動的シーンに基づいて評価され、最近の最先端手法に匹敵する品質と速度で同等または優れたレンダリング性能、フレーム当たり10秒の再構成とリアルタイムレンダリングを実現している。

関連論文リスト

• VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams [56.00479598817949]
  VideoRFは、モバイルプラットフォーム上で動的ラディアンスフィールドのリアルタイムストリーミングとレンダリングを可能にする最初のアプローチである。 特徴画像ストリームを2次元ビデオコーデックで効率よく圧縮できることを示す。 我々は動的シーンのオンラインストリーミングとレンダリングを可能にするリアルタイムインタラクティブプレーヤーを開発した。
  論文  参考訳（メタデータ） (2023-12-03T14:14:35Z)
• UE4-NeRF:Neural Radiance Field for Real-Time Rendering of Large-Scale Scene [52.21184153832739]
  本研究では,大規模シーンのリアルタイムレンダリングに特化して設計されたUE4-NeRFと呼ばれるニューラルレンダリングシステムを提案する。 提案手法は,Unreal Engine 4 (UE4)のUnrealization Pipelineと組み合わせて,最大43FPSのフレームレートで4K解像度で大規模シーンのリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-10-20T04:01:35Z)
• 3D Gaussian Splatting for Real-Time Radiance Field Rendering [4.320393382724066]
  競争力のあるトレーニング時間を維持しながら、最先端の視覚的品質を達成するための3つの重要な要素を紹介します。 いくつかの確立したデータセット上で、最先端の視覚的品質とリアルタイムレンダリングを実証する。
  論文  参考訳（メタデータ） (2023-08-08T06:37:06Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
  本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。 実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
  論文  参考訳（メタデータ） (2022-05-31T12:13:54Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Neural Radiance Flow for 4D View Synthesis and Video Processing [59.9116932930108]
  本稿では,RGB画像から動的シーンの4次元空間時空間表現を学習する手法を提案する。 私たちのアプローチの鍵は、シーンの3D占有率、輝度、およびダイナミクスをキャプチャすることを学ぶ神経暗黙表現を使用することです。
  論文  参考訳（メタデータ） (2020-12-17T17:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。