論文の概要: TeTriRF: Temporal Tri-Plane Radiance Fields for Efficient Free-Viewpoint Video

• arxiv url: http://arxiv.org/abs/2312.06713v1
• Date: Sun, 10 Dec 2023 23:00:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 18:48:47.095805
• Title: TeTriRF: Temporal Tri-Plane Radiance Fields for Efficient Free-Viewpoint Video
• Title（参考訳）: tetrirf: 自由視点ビデオのための時間的三面放射場
• Authors: Minye Wu, Zehao Wang, Georgios Kouros, Tinne Tuytelaars
• Abstract要約: テンポラルトリプレーン放射場(TeTriRF)は、自由視点ビデオ(FVV)の記憶容量を大幅に削減する新しい技術である。 TeTriRFは三面体とボクセルグリッドとのハイブリッド表現を導入し、長周期シーケンスやシーンのスケーリングをサポートする。 本研究では,高いトレーニング効率を実現し,時間的に一貫した低エントロピーシーン表現を実現するためのグループトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 47.82392246786268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Radiance Fields (NeRF) revolutionize the realm of visual media by providing photorealistic Free-Viewpoint Video (FVV) experiences, offering viewers unparalleled immersion and interactivity. However, the technology's significant storage requirements and the computational complexity involved in generation and rendering currently limit its broader application. To close this gap, this paper presents Temporal Tri-Plane Radiance Fields (TeTriRF), a novel technology that significantly reduces the storage size for Free-Viewpoint Video (FVV) while maintaining low-cost generation and rendering. TeTriRF introduces a hybrid representation with tri-planes and voxel grids to support scaling up to long-duration sequences and scenes with complex motions or rapid changes. We propose a group training scheme tailored to achieving high training efficiency and yielding temporally consistent, low-entropy scene representations. Leveraging these properties of the representations, we introduce a compression pipeline with off-the-shelf video codecs, achieving an order of magnitude less storage size compared to the state-of-the-art. Our experiments demonstrate that TeTriRF can achieve competitive quality with a higher compression rate.
• Abstract（参考訳）: neural radiance fields (nerf)は、フォトリアリスティックなfvv(free-viewpoint video)体験を提供することで、視覚メディアの領域に革命をもたらす。 しかし、この技術の重要なストレージ要件と生成とレンダリングに関わる計算の複雑さは、現在、幅広いアプリケーションを制限する。 このギャップを埋めるために,本稿では,fvv(free-viewpoint video)のストレージサイズを大幅に削減する新しい技術であるtemporal tri-plane radiance fields (tetrirf)を提案する。 TeTriRFは三面体とボクセルグリッドとのハイブリッド表現を導入し、複雑な動きや急激な変化を伴う長い順列やシーンのスケーリングをサポートする。 本研究では,高いトレーニング効率を実現し,時間的に一貫した低エントロピーシーン表現を実現するグループトレーニング手法を提案する。 これらの表現の特性を活かして,既製のビデオコーデックを用いた圧縮パイプラインを導入し,最先端のものに比べてストレージサイズを桁違いに削減した。 実験により,TeTriRFは高い圧縮速度で競争性が得られることを示した。

関連論文リスト

• JointRF: End-to-End Joint Optimization for Dynamic Neural Radiance Field Representation and Compression [39.403294185116]
  本稿では,動的NeRF表現と圧縮を両立する新しいエンドツーエンドのジョイント最適化手法,JointRFを提案する。 ジョイントRFは, 従来手法に比べて, 品質と圧縮効率を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-23T11:32:46Z)
• PC-NeRF: Parent-Child Neural Radiance Fields Using Sparse LiDAR Frames in Autonomous Driving Environments [3.1969023045814753]
  親子ニューラルレイディアンス場(PC-NeRF)と呼ばれる3次元シーン再構成と新しいビュー合成フレームワークを提案する。 PC-NeRFは、シーン、セグメント、ポイントレベルを含む階層的な空間分割とマルチレベルシーン表現を実装している。 広範にわたる実験により,PC-NeRFは大規模シーンにおける高精度なLiDARビュー合成と3次元再構成を実現することが証明された。
  論文  参考訳（メタデータ） (2024-02-14T17:16:39Z)
• RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks [93.18404922542702]
  本稿では,長期的空間的および時間的依存関係に対処する新しいビデオ生成モデルを提案する。 提案手法は,3次元認識型生成フレームワークにインスパイアされた,明示的で単純化された3次元平面のハイブリッド表現を取り入れたものである。 我々のモデルは高精細度ビデオクリップを解像度256時間256$ピクセルで合成し、フレームレート30fpsで5ドル以上まで持続する。
  論文  参考訳（メタデータ） (2024-01-11T16:48:44Z)
• NeVRF: Neural Video-based Radiance Fields for Long-duration Sequences [53.8501224122952]
  本稿では,新しいニューラルビデオベース放射場(NeVRF)の表現を提案する。 NeVRFは、画像ベースのレンダリングを備えたニューラルラディアンスフィールドをマージし、長期のダイナミックな内向きシーンにおけるフォトリアリスティックなノベルビュー合成をサポートする。 本実験は,NeVRFが長期化シーケンスレンダリング,シーケンシャルデータ再構成,コンパクトデータストレージの実現に有効であることを示す。
  論文  参考訳（メタデータ） (2023-12-10T11:14:30Z)
• VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for Enhanced Indoor View Synthesis [51.49008959209671]
  本稿では,室内ビュー合成の品質と効率を高めるために,ボリューム表現を活用する新しいアプローチであるVoxNeRFを紹介する。 我々は,空間的特徴を適応的に捉えるためにマルチレゾリューション・ハッシュ・グリッドを使用し,室内シーンの閉塞や複雑な形状を効果的に管理する。 我々は,3つの屋内データセットに対するアプローチを検証するとともに,VoxNeRFが最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-09T11:32:49Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
  ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。 それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。 本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。