論文の概要: 4K4D: Real-Time 4D View Synthesis at 4K Resolution

• arxiv url: http://arxiv.org/abs/2310.11448v3
• Date: Sat, 28 Oct 2023 06:41:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 19:35:41.289074
• Title: 4K4D: Real-Time 4D View Synthesis at 4K Resolution
• Title（参考訳）: 4K4D:4K解像度でのリアルタイム4Dビュー合成
• Authors: Zhen Xu, Sida Peng, Haotong Lin, Guangzhao He, Jiaming Sun, Yujun Shen, Hujun Bao, Xiaowei Zhou
• Abstract要約: 本稿では、4K解像度で動的3Dシーンを高忠実かつリアルタイムに見ることを目的とする。 ハードウェア化をサポートし,前例のないレンダリング速度を実現する4Dポイントクラウド表現を提案する。 私たちの表現は、1080p解像度のDNAレンダリングデータセットで400 FPS、4090 GPUで4K解像度のENeRF-Outdoorデータセットで80 FPSでレンダリングできます。
• 参考スコア（独自算出の注目度）: 86.6582179227016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper targets high-fidelity and real-time view synthesis of dynamic 3D scenes at 4K resolution. Recently, some methods on dynamic view synthesis have shown impressive rendering quality. However, their speed is still limited when rendering high-resolution images. To overcome this problem, we propose 4K4D, a 4D point cloud representation that supports hardware rasterization and enables unprecedented rendering speed. Our representation is built on a 4D feature grid so that the points are naturally regularized and can be robustly optimized. In addition, we design a novel hybrid appearance model that significantly boosts the rendering quality while preserving efficiency. Moreover, we develop a differentiable depth peeling algorithm to effectively learn the proposed model from RGB videos. Experiments show that our representation can be rendered at over 400 FPS on the DNA-Rendering dataset at 1080p resolution and 80 FPS on the ENeRF-Outdoor dataset at 4K resolution using an RTX 4090 GPU, which is 30x faster than previous methods and achieves the state-of-the-art rendering quality. Our project page is available at https://zju3dv.github.io/4k4d/.
• Abstract（参考訳）: 本稿では、4K解像度で動的3Dシーンを高忠実かつリアルタイムに合成することを目的とする。 近年,動的ビュー合成法によっては印象的なレンダリング品質が示されている。 しかし、高解像度画像のレンダリングでは、その速度は限られている。 この問題を解決するため、4k4dは、ハードウェアラスタライズをサポートし、前例のないレンダリング速度を実現する4dポイントクラウド表現である。 我々の表現は、4D機能グリッド上に構築されており、ポイントは自然に正規化され、堅牢に最適化できる。 さらに,効率を保ちつつレンダリング品質を大幅に向上させるハイブリッドな外観モデルを設計した。 さらに,rgbビデオから提案モデルを効果的に学習するための微分可能な奥行き剥離アルゴリズムを開発した。 実験では,rtx 4090 gpuを用いた4k解像度で,dnaレンダリングデータセット上で400fps以上,enerf-outdoorデータセットで80fps以上,rtx 4090 gpuで4k解像度でレンダリングできることを示した。 プロジェクトページはhttps://zju3dv.github.io/4k4d/で閲覧できます。

関連論文リスト

• 4K4DGen: Panoramic 4D Generation at 4K Resolution [66.32782301285256]
  本研究では,360度画像に一貫したアニメーション化を実現するために,汎用的な2次元拡散に適応するパノラマデノイザを提案する。 高品質なパノラマから4D生成を(4096$times$2048)初めて達成しました。
  論文  参考訳（メタデータ） (2024-06-19T13:11:02Z)
• Efficient4D: Fast Dynamic 3D Object Generation from a Single-view Video [42.10482273572879]
  本稿では,効率的な4Dオブジェクト生成フレームワークであるEfficient4Dを提案する。 異なるカメラビューの下で高品質な時空一貫性の画像を生成し、ラベル付きデータとして使用する。 合成ビデオと実ビデオの両方の実験によると、Efficient4Dのスピードは10倍に向上している。
  論文  参考訳（メタデータ） (2024-01-16T18:58:36Z)
• UE4-NeRF:Neural Radiance Field for Real-Time Rendering of Large-Scale Scene [52.21184153832739]
  本研究では,大規模シーンのリアルタイムレンダリングに特化して設計されたUE4-NeRFと呼ばれるニューラルレンダリングシステムを提案する。 提案手法は,Unreal Engine 4 (UE4)のUnrealization Pipelineと組み合わせて,最大43FPSのフレームレートで4K解像度で大規模シーンのリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-10-20T04:01:35Z)
• Im4D: High-Fidelity and Real-Time Novel View Synthesis for Dynamic Scenes [69.52540205439989]
  グリッドベースの幾何表現と多視点画像に基づく外観表現からなるハイブリッド表現であるIm4Dを紹介する。 画像の特徴から3Dポイントの色を予測することを学習する,オリジナルのマルチビュービデオとネットワークによってシーンの外観を表現する。 我々は,512x512画像に対して,79.8 FPSのリアルタイムレンダリングを実現しつつ,レンダリング品質が向上し,効率よくトレーニングできるIm4Dの最先端性能を示す。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering [103.32717396287751]
  本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。 HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。 我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-10-12T17:21:41Z)
• 4K-HAZE: A Dehazing Benchmark with 4K Resolution Hazy and Haze-Free Images [12.402054374952485]
  まず、シーンの深さを推定し、光線とオブジェクトの反射率をシミュレートし、GANを用いて合成画像を実際の領域に移行する。 これらの合成画像を4K-HAZEデータセットと呼ばれるベンチマークにラップする。 このアプローチの最も魅力的な側面は、24G RAMをリアルタイムで(33fps)1つのGPU上で4Kイメージを実行する機能です。
  論文  参考訳（メタデータ） (2023-03-28T09:39:29Z)
• NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields [99.57774680640581]
  本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
  論文  参考訳（メタデータ） (2022-10-28T07:11:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。