論文の概要: JointRF: End-to-End Joint Optimization for Dynamic Neural Radiance Field Representation and Compression

• arxiv url: http://arxiv.org/abs/2405.14452v2
• Date: Sat, 8 Jun 2024 06:12:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 23:45:08.670229
• Title: JointRF: End-to-End Joint Optimization for Dynamic Neural Radiance Field Representation and Compression
• Title（参考訳）: JointRF: Dynamic Neural Radiance Field Representation and Compressionのためのエンドツーエンド共同最適化
• Authors: Zihan Zheng, Houqiang Zhong, Qiang Hu, Xiaoyun Zhang, Li Song, Ya Zhang, Yanfeng Wang,
• Abstract要約: 本稿では,動的NeRF表現と圧縮を両立する新しいエンドツーエンドのジョイント最適化手法,JointRFを提案する。 ジョイントRFは, 従来手法に比べて, 品質と圧縮効率を著しく向上させる。
• 参考スコア（独自算出の注目度）: 39.403294185116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Field (NeRF) excels in photo-realistically static scenes, inspiring numerous efforts to facilitate volumetric videos. However, rendering dynamic and long-sequence radiance fields remains challenging due to the significant data required to represent volumetric videos. In this paper, we propose a novel end-to-end joint optimization scheme of dynamic NeRF representation and compression, called JointRF, thus achieving significantly improved quality and compression efficiency against the previous methods. Specifically, JointRF employs a compact residual feature grid and a coefficient feature grid to represent the dynamic NeRF. This representation handles large motions without compromising quality while concurrently diminishing temporal redundancy. We also introduce a sequential feature compression subnetwork to further reduce spatial-temporal redundancy. Finally, the representation and compression subnetworks are end-to-end trained combined within the JointRF. Extensive experiments demonstrate that JointRF can achieve superior compression performance across various datasets.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、フォトリアリスティックな静的なシーンに優れており、ボリュームビデオの促進に多くの取り組みを刺激している。 しかし、ボリュームビデオの表現に要する重要なデータのために、動的および長時間のレイディアンスフィールドのレンダリングは依然として困難である。 本論文では, 動的NeRF表現と圧縮を両立させる新しいエンドツーエンドのジョイント最適化手法であるJointRFを提案し, 従来手法と比較して, 品質と圧縮効率を著しく向上させる。 特に、JointRFは、動的NeRFを表すために、コンパクトな残留特徴格子と係数特徴格子を用いる。 この表現は、時間的冗長性を同時に減少させながら、品質を損なうことなく大きな動きを処理する。 また、空間的時間的冗長性をさらに低減するために、逐次的特徴圧縮サブネットワークを導入する。 最後に、表現と圧縮のサブネットは、JointRF内でエンドツーエンドにトレーニングされている。 大規模な実験により、JointRFは様々なデータセットにわたって優れた圧縮性能を達成できることが示された。

関連論文リスト

• Rate-aware Compression for NeRF-based Volumetric Video [21.372568857027748]
  放射場(NeRF)は3次元ボリュームビデオ技術の開発を進展させてきた。 既存のソリューションは、トレーニング段階の後にNeRF表現を圧縮し、表現訓練と圧縮を分離する。 本稿では,提案するレートアウェア圧縮フレームワークに基づいて,トレーニング段階におけるボリュームビデオのコンパクトなNeRF表現を直接学習する。
  論文  参考訳（メタデータ） (2024-11-08T04:29:14Z)
• Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
  スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす 近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。 我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
  論文  参考訳（メタデータ） (2024-10-23T13:05:26Z)
• Neural NeRF Compression [19.853882143024]
  最近のNeRFは、レンダリング品質とスピードを改善するために機能グリッドを利用している。 これらの表現は、大きなストレージオーバーヘッドをもたらす。 本稿では,グリッドベースNeRFモデルを効率よく圧縮する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T09:12:26Z)
• SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance [106.0057551634008]
  FreeNeRFは暗黙の幾何正規化を統合することでこの制限を克服しようとする。 新しい研究は、新しい特徴マッチングに基づくスパース幾何正規化モジュールを導入する。 モジュールは、高周波キーポイントをピンポイントすることで、詳細の完全性を保護する。
  論文  参考訳（メタデータ） (2024-04-01T08:37:57Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• Efficient Dynamic-NeRF Based Volumetric Video Coding with Rate Distortion Optimization [19.90293875755272]
  NeRFは、シンプルな表現と強力な3Dモデリング機能のおかげで、ボリュームビデオ圧縮において顕著な可能性を秘めている。 ReRFは、モデリングを圧縮プロセスから分離し、最適化された圧縮効率をもたらす。 本稿では,よりコンパクトな動的NeRFに基づくボリュームビデオ圧縮手法を提案する。
  論文  参考訳（メタデータ） (2024-02-02T13:03:20Z)
• TeTriRF: Temporal Tri-Plane Radiance Fields for Efficient Free-Viewpoint Video [47.82392246786268]
  テンポラルトリプレーン放射場(TeTriRF)は、自由視点ビデオ(FVV)の記憶容量を大幅に削減する新しい技術である。 TeTriRFは三面体とボクセルグリッドとのハイブリッド表現を導入し、長周期シーケンスやシーンのスケーリングをサポートする。 本研究では,高いトレーニング効率を実現し,時間的に一貫した低エントロピーシーン表現を実現するためのグループトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-12-10T23:00:24Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。