論文の概要: VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams

• arxiv url: http://arxiv.org/abs/2312.01407v1
• Date: Sun, 3 Dec 2023 14:14:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 17:33:32.182030
• Title: VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams
• Title（参考訳）: VideoRF:2D機能ビデオストリームとして動的放射場をレンダリング
• Authors: Liao Wang, Kaixin Yao, Chengcheng Guo, Zhirui Zhang, Qiang Hu, Jingyi Yu, Lan Xu, Minye Wu
• Abstract要約: VideoRFは、モバイルプラットフォーム上で動的ラディアンスフィールドのリアルタイムストリーミングとレンダリングを可能にする最初のアプローチである。 特徴画像ストリームを2次元ビデオコーデックで効率よく圧縮できることを示す。 我々は動的シーンのオンラインストリーミングとレンダリングを可能にするリアルタイムインタラクティブプレーヤーを開発した。
• 参考スコア（独自算出の注目度）: 56.00479598817949
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Radiance Fields (NeRFs) excel in photorealistically rendering static scenes. However, rendering dynamic, long-duration radiance fields on ubiquitous devices remains challenging, due to data storage and computational constraints. In this paper, we introduce VideoRF, the first approach to enable real-time streaming and rendering of dynamic radiance fields on mobile platforms. At the core is a serialized 2D feature image stream representing the 4D radiance field all in one. We introduce a tailored training scheme directly applied to this 2D domain to impose the temporal and spatial redundancy of the feature image stream. By leveraging the redundancy, we show that the feature image stream can be efficiently compressed by 2D video codecs, which allows us to exploit video hardware accelerators to achieve real-time decoding. On the other hand, based on the feature image stream, we propose a novel rendering pipeline for VideoRF, which has specialized space mappings to query radiance properties efficiently. Paired with a deferred shading model, VideoRF has the capability of real-time rendering on mobile devices thanks to its efficiency. We have developed a real-time interactive player that enables online streaming and rendering of dynamic scenes, offering a seamless and immersive free-viewpoint experience across a range of devices, from desktops to mobile phones.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、静止画をフォトリアリスティックにレンダリングする。 しかしながら、ユビキタスデバイス上で動的で長命なラミアンスフィールドのレンダリングは、データストレージと計算上の制約のため、依然として困難である。 本稿では,モバイルプラットフォーム上での動的放射場の実時間ストリーミングとレンダリングを実現するための,最初のアプローチであるVideoRFを紹介する。 コアには、4dの放射能フィールドを1つに表現した2d特徴画像ストリームがシリアライズされている。 本稿では,この2次元領域に直接適用し,特徴画像ストリームの時間的・空間的冗長性を強制する学習方式を提案する。 冗長性を利用して、2次元ビデオコーデックにより特徴画像ストリームを効率よく圧縮できることを示し、ビデオハードウェアアクセラレーションを利用してリアルタイムデコーディングを実現する。 一方,特徴画像ストリームに基づいて,高効率なラディアンス特性を問合せするための空間マッピングを備えたビデオRFのための新しいレンダリングパイプラインを提案する。 遅延シェーディングモデルを備えたVideoRFは,その効率によってモバイルデバイス上でリアルタイムレンダリングを行うことができる。 動的シーンのオンラインストリーミングとレンダリングを可能にし、デスクトップから携帯電話まで、さまざまなデバイスでシームレスで没入的な自由視点体験を提供するリアルタイムインタラクティブプレーヤーを開発した。

関連論文リスト

• 3D Gaussian Splatting for Real-Time Radiance Field Rendering [4.320393382724066]
  競争力のあるトレーニング時間を維持しながら、最先端の視覚的品質を達成するための3つの重要な要素を紹介します。 いくつかの確立したデータセット上で、最先端の視覚的品質とリアルタイムレンダリングを実証する。
  論文  参考訳（メタデータ） (2023-08-08T06:37:06Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• MERF: Memory-Efficient Radiance Fields for Real-time View Synthesis in Unbounded Scenes [61.01853377661283]
  本稿では,ブラウザにおける大規模シーンのリアルタイムレンダリングを実現するメモリ効率のよいレイディアンスフィールド表現を提案する。 我々は,シーン座標を効率の良いレイボックス交叉を実現しつつ,境界体積にマッピングする新しい収縮関数を提案する。
  論文  参考訳（メタデータ） (2023-02-23T18:59:07Z)
• NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields [99.57774680640581]
  本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
  論文  参考訳（メタデータ） (2022-10-28T07:11:05Z)
• Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
  タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。 我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。 TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
  論文  参考訳（メタデータ） (2022-05-30T17:47:31Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。