論文の概要: Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos

• arxiv url: http://arxiv.org/abs/2304.04452v1
• Date: Mon, 10 Apr 2023 08:36:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 15:37:11.889861
• Title: Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos
• Title（参考訳）: 流線型自由視点映像のための神経残留放射場
• Authors: Liao Wang, Qiang Hu, Qihan He, Ziyu Wang, Jingyi Yu, Tinne Tuytelaars, Lan Xu, Minye Wu
• Abstract要約: 本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
• 参考スコア（独自算出の注目度）: 69.22032459870242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of the Neural Radiance Fields (NeRFs) for modeling and free-view rendering static objects has inspired numerous attempts on dynamic scenes. Current techniques that utilize neural rendering for facilitating free-view videos (FVVs) are restricted to either offline rendering or are capable of processing only brief sequences with minimal motion. In this paper, we present a novel technique, Residual Radiance Field or ReRF, as a highly compact neural representation to achieve real-time FVV rendering on long-duration dynamic scenes. ReRF explicitly models the residual information between adjacent timestamps in the spatial-temporal feature space, with a global coordinate-based tiny MLP as the feature decoder. Specifically, ReRF employs a compact motion grid along with a residual feature grid to exploit inter-frame feature similarities. We show such a strategy can handle large motions without sacrificing quality. We further present a sequential training scheme to maintain the smoothness and the sparsity of the motion/residual grids. Based on ReRF, we design a special FVV codec that achieves three orders of magnitudes compression rate and provides a companion ReRF player to support online streaming of long-duration FVVs of dynamic scenes. Extensive experiments demonstrate the effectiveness of ReRF for compactly representing dynamic radiance fields, enabling an unprecedented free-viewpoint viewing experience in speed and quality.
• Abstract（参考訳）: 静的オブジェクトのモデリングと自由視点レンダリングにおけるNeRF(Neural Radiance Fields)の成功は、動的シーンにおける多くの試みに影響を与えた。 ニューラルレンダリングを利用してフリービュービデオ(FVV)を容易にする現在の技術は、オフラインレンダリングに制限されるか、最小のモーションで短いシーケンスのみを処理することができる。 本稿では,高コンパクトなニューラルネットワーク表現として残差放射場(rerf)という新しい手法を提案し,長波長動画像のリアルタイムfvvレンダリングを実現する。 ReRFは、空間的特徴空間内の隣接するタイムスタンプ間の残余情報を明示的にモデル化し、グローバル座標ベースの小型MPPを特徴デコーダとする。 具体的には、ReRFはフレーム間の特徴的類似性を利用するために、コンパクトなモーショングリッドと残像グリッドを使用する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 さらに,動きグリッドの滑らかさとスパース性を維持するための逐次学習方式を提案する。 ReRFに基づいて3桁の圧縮速度を達成し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する,特別なFVVコーデックを設計する。 広汎な実験は、動的放射場をコンパクトに表現するためのReRFの有効性を示し、速度と品質において前例のない自由視点視聴体験を可能にする。

関連論文リスト

• Neural NeRF Compression [19.853882143024]
  最近のNeRFは、レンダリング品質とスピードを改善するために機能グリッドを利用している。 これらの表現は、大きなストレージオーバーヘッドをもたらす。 本稿では,グリッドベースNeRFモデルを効率よく圧縮する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T09:12:26Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• JointRF: End-to-End Joint Optimization for Dynamic Neural Radiance Field Representation and Compression [39.403294185116]
  本稿では,動的NeRF表現と圧縮を両立する新しいエンドツーエンドのジョイント最適化手法,JointRFを提案する。 ジョイントRFは, 従来手法に比べて, 品質と圧縮効率を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-23T11:32:46Z)
• TeTriRF: Temporal Tri-Plane Radiance Fields for Efficient Free-Viewpoint Video [47.82392246786268]
  テンポラルトリプレーン放射場(TeTriRF)は、自由視点ビデオ(FVV)の記憶容量を大幅に削減する新しい技術である。 TeTriRFは三面体とボクセルグリッドとのハイブリッド表現を導入し、長周期シーケンスやシーンのスケーリングをサポートする。 本研究では,高いトレーニング効率を実現し,時間的に一貫した低エントロピーシーン表現を実現するためのグループトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-12-10T23:00:24Z)
• NeVRF: Neural Video-based Radiance Fields for Long-duration Sequences [53.8501224122952]
  本稿では,新しいニューラルビデオベース放射場(NeVRF)の表現を提案する。 NeVRFは、画像ベースのレンダリングを備えたニューラルラディアンスフィールドをマージし、長期のダイナミックな内向きシーンにおけるフォトリアリスティックなノベルビュー合成をサポートする。 本実験は,NeVRFが長期化シーケンスレンダリング,シーケンシャルデータ再構成,コンパクトデータストレージの実現に有効であることを示す。
  論文  参考訳（メタデータ） (2023-12-10T11:14:30Z)
• OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
  ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。 本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。 本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-05-24T07:36:47Z)
• Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
  タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。 我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。 TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
  論文  参考訳（メタデータ） (2022-05-30T17:47:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。