論文の概要: Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos
- arxiv url: http://arxiv.org/abs/2304.04452v2
- Date: Thu, 15 Jun 2023 14:16:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-17 01:28:40.902457
- Title: Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos
- Title(参考訳): 流線型自由視点映像のための神経残留放射場
- Authors: Liao Wang, Qiang Hu, Qihan He, Ziyu Wang, Jingyi Yu, Tinne Tuytelaars,
Lan Xu, Minye Wu
- Abstract要約: 本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。
このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。
ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
- 参考スコア(独自算出の注目度): 69.22032459870242
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The success of the Neural Radiance Fields (NeRFs) for modeling and free-view
rendering static objects has inspired numerous attempts on dynamic scenes.
Current techniques that utilize neural rendering for facilitating free-view
videos (FVVs) are restricted to either offline rendering or are capable of
processing only brief sequences with minimal motion. In this paper, we present
a novel technique, Residual Radiance Field or ReRF, as a highly compact neural
representation to achieve real-time FVV rendering on long-duration dynamic
scenes. ReRF explicitly models the residual information between adjacent
timestamps in the spatial-temporal feature space, with a global
coordinate-based tiny MLP as the feature decoder. Specifically, ReRF employs a
compact motion grid along with a residual feature grid to exploit inter-frame
feature similarities. We show such a strategy can handle large motions without
sacrificing quality. We further present a sequential training scheme to
maintain the smoothness and the sparsity of the motion/residual grids. Based on
ReRF, we design a special FVV codec that achieves three orders of magnitudes
compression rate and provides a companion ReRF player to support online
streaming of long-duration FVVs of dynamic scenes. Extensive experiments
demonstrate the effectiveness of ReRF for compactly representing dynamic
radiance fields, enabling an unprecedented free-viewpoint viewing experience in
speed and quality.
- Abstract(参考訳): 静的オブジェクトのモデリングと自由視点レンダリングにおけるNeRF(Neural Radiance Fields)の成功は、動的シーンにおける多くの試みに影響を与えた。
ニューラルレンダリングを利用してフリービュービデオ(FVV)を容易にする現在の技術は、オフラインレンダリングに制限されるか、最小のモーションで短いシーケンスのみを処理することができる。
本稿では,高コンパクトなニューラルネットワーク表現として残差放射場(rerf)という新しい手法を提案し,長波長動画像のリアルタイムfvvレンダリングを実現する。
ReRFは、空間的特徴空間内の隣接するタイムスタンプ間の残余情報を明示的にモデル化し、グローバル座標ベースの小型MPPを特徴デコーダとする。
具体的には、ReRFはフレーム間の特徴的類似性を利用するために、コンパクトなモーショングリッドと残像グリッドを使用する。
このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。
さらに,動きグリッドの滑らかさとスパース性を維持するための逐次学習方式を提案する。
ReRFに基づいて3桁の圧縮速度を達成し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する,特別なFVVコーデックを設計する。
広汎な実験は、動的放射場をコンパクトに表現するためのReRFの有効性を示し、速度と品質において前例のない自由視点視聴体験を可能にする。
関連論文リスト
- TeTriRF: Temporal Tri-Plane Radiance Fields for Efficient Free-Viewpoint
Video [47.82392246786268]
テンポラルトリプレーン放射場(TeTriRF)は、自由視点ビデオ(FVV)の記憶容量を大幅に削減する新しい技術である。
TeTriRFは三面体とボクセルグリッドとのハイブリッド表現を導入し、長周期シーケンスやシーンのスケーリングをサポートする。
本研究では,高いトレーニング効率を実現し,時間的に一貫した低エントロピーシーン表現を実現するためのグループトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-12-10T23:00:24Z) - NeVRF: Neural Video-based Radiance Fields for Long-duration Sequences [53.8501224122952]
本稿では,新しいニューラルビデオベース放射場(NeVRF)の表現を提案する。
NeVRFは、画像ベースのレンダリングを備えたニューラルラディアンスフィールドをマージし、長期のダイナミックな内向きシーンにおけるフォトリアリスティックなノベルビュー合成をサポートする。
本実験は,NeVRFが長期化シーケンスレンダリング,シーケンシャルデータ再構成,コンパクトデータストレージの実現に有効であることを示す。
論文 参考訳(メタデータ) (2023-12-10T11:14:30Z) - OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。
本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。
本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
論文 参考訳(メタデータ) (2023-05-24T07:36:47Z) - NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed
Neural Radiance Fields [99.57774680640581]
本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。
本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
論文 参考訳(メタデータ) (2022-10-28T07:11:05Z) - Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。
我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。
TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
論文 参考訳(メタデータ) (2022-05-30T17:47:31Z) - Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time [43.0484840009621]
Neural Radiance Field (NeRF)のような暗黙の神経表現は、主にマルチビュー設定下でキャプチャされた静的オブジェクトのモデリングに焦点を当てている。
本稿では,FVV(Fourier PlenOctree)技術を用いて,FVV(Fourier PlenOctree)設定下で撮影した動的シーンの効率的なニューラルモデリングとリアルタイムレンダリングを実現する。
提案手法は,元のNeRFよりも3000倍高速で,SOTAよりも1桁の加速速度を持つことを示す。
論文 参考訳(メタデータ) (2022-02-17T11:57:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。