論文の概要: EvolvingGS: High-Fidelity Streamable Volumetric Video via Evolving 3D Gaussian Representation

• arxiv url: http://arxiv.org/abs/2503.05162v1
• Date: Fri, 07 Mar 2025 06:01:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 15:56:45.066540
• Title: EvolvingGS: High-Fidelity Streamable Volumetric Video via Evolving 3D Gaussian Representation
• Title（参考訳）: EvolvingGS: 3Dガウス表現による高忠実なストリーミングボリュームビデオ
• Authors: Chao Zhang, Yifeng Zhou, Shuheng Wang, Wenfa Li, Degang Wang, Yi Xu, Shaohui Jiao,
• Abstract要約: EvolvingGSは、まずターゲットフレームに合わせるためにガウスモデルを変形させ、最小点加算/減算で洗練する2段階戦略である。 漸進的に進化する表現の柔軟性のため,本手法はフレーム単位と時間単位の品質指標の両方で既存手法より優れている。 我々の手法は、特に複雑な人間のパフォーマンスを持つ拡張シーケンスにおいて、動的シーン再構成の最先端性を著しく向上させる。
• 参考スコア（独自算出の注目度）: 14.402479944396665
• License:
• Abstract: We have recently seen great progress in 3D scene reconstruction through explicit point-based 3D Gaussian Splatting (3DGS), notable for its high quality and fast rendering speed. However, reconstructing dynamic scenes such as complex human performances with long durations remains challenging. Prior efforts fall short of modeling a long-term sequence with drastic motions, frequent topology changes or interactions with props, and resort to segmenting the whole sequence into groups of frames that are processed independently, which undermines temporal stability and thereby leads to an unpleasant viewing experience and inefficient storage footprint. In view of this, we introduce EvolvingGS, a two-stage strategy that first deforms the Gaussian model to coarsely align with the target frame, and then refines it with minimal point addition/subtraction, particularly in fast-changing areas. Owing to the flexibility of the incrementally evolving representation, our method outperforms existing approaches in terms of both per-frame and temporal quality metrics while maintaining fast rendering through its purely explicit representation. Moreover, by exploiting temporal coherence between successive frames, we propose a simple yet effective compression algorithm that achieves over 50x compression rate. Extensive experiments on both public benchmarks and challenging custom datasets demonstrate that our method significantly advances the state-of-the-art in dynamic scene reconstruction, particularly for extended sequences with complex human performances.
• Abstract（参考訳）: 我々は最近,高画質かつ高速なレンダリング速度で有名な3Dガウススプラッティング(3DGS)による3Dシーン再構築の進歩を目の当たりにしている。 しかし、複雑な人事などの動的な場面を長期にわたって再構築することは依然として困難である。 それまでの努力は、急激な動き、頻繁なトポロジの変化、またはプロップとの相互作用を伴う長期的なシーケンスをモデル化するに足りず、シーケンス全体を独立して処理されるフレームのグループに分割することで、時間的安定性を損なうため、不愉快な視聴体験と非効率なストレージフットプリントにつながる。 そこで本研究では,まずガウスモデルとターゲットフレームを粗く整合させるための2段階戦略であるEvolvingGSを導入し,特に高速に変化する領域において,最小点加算/減算で改良する。 漸進的に進化する表現の柔軟性のため、本手法はフレーム単位と時間単位の品質指標の両方において既存の手法よりも優れ、一方、その純粋に明示的な表現を通して高速なレンダリングを維持している。 さらに,連続するフレーム間の時間的コヒーレンスを利用して,50倍以上の圧縮率を達成する単純な圧縮アルゴリズムを提案する。 公的なベンチマークと挑戦的なカスタムデータセットの両方に対する大規模な実験により、我々の手法は動的シーン再構築における最先端を著しく向上させ、特に複雑な人間のパフォーマンスを持つ拡張シーケンスに対して有効であることが示された。

関連論文リスト

• GaussianVideo: Efficient Video Representation via Hierarchical Gaussian Splatting [28.981174430968643]
  本稿では,3次元ガウススプラッティングと連続カメラモーションモデリングを組み合わせたニューラル表現を提案する。 実験結果から,我々の階層的学習と堅牢なカメラモーションモデリングが組み合わさって,時間的一貫性の強い複雑な動的シーンを捉えていることがわかった。 このメモリ効率のアプローチは、印象的な速度で高品質なレンダリングを実現する。
  論文  参考訳（メタデータ） (2025-01-08T19:01:12Z)
• 4D Gaussian Splatting with Scale-aware Residual Field and Adaptive Optimization for Real-time Rendering of Temporally Complex Dynamic Scenes [19.24815625343669]
  SaRO-GSはリアルタイムレンダリングを実現する新しい動的シーン表現である。 時間的に複雑な動的シーンを扱うために,スケールアウェアなResidual Fieldを導入する。 我々の手法は最先端の性能を実証した。
  論文  参考訳（メタデータ） (2024-12-09T08:44:19Z)
• Event-boosted Deformable 3D Gaussians for Fast Dynamic Scene Reconstruction [50.873820265165975]
  3D Gaussian Splatting (3D-GS) はリアルタイムレンダリングを実現するが、RGBカメラの低時間分解能のため高速動作に苦慮している。 本稿では,高時間分解能連続運動データをキャプチャするイベントカメラと,高速な動的シーン再構成のための変形可能な3D-GSを組み合わせた最初のアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-25T08:23:38Z)
• GAST: Sequential Gaussian Avatars with Hierarchical Spatio-temporal Context [7.6736633105043515]
  3D人間のアバターは、標準放射場とフレームごとの歪みを観察することで、高忠実なレンダリングとアニメーションを可能にします。 空間SMPL(-X)のポーズや時間埋め込みに依存する既存の手法は、それぞれ粗い品質や限られたアニメーションの柔軟性に悩まされている。 空間情報と時間情報の両方を階層的に統合することで、3DGSと3DGSを統合化するためのフレームワークであるGASTを提案する。
  論文  参考訳（メタデータ） (2024-11-25T04:05:19Z)
• HiCoM: Hierarchical Coherent Motion for Streamable Dynamic Scene with 3D Gaussian Splatting [7.507657419706855]
  本稿では,HiCoMと呼ばれる3つの重要なコンポーネントを持つ効率的なフレームワークを提案する。 まず、摂動平滑化戦略を用いて、コンパクトで頑健な初期3DGS表現を構築する。 次に、3次元ガウスの固有非一様分布と局所的一貫性を利用する階層的コヒーレント運動機構を導入する。 2つの広く利用されているデータセットを用いて行った実験により、我々のフレームワークは最先端の手法の学習効率を約20%向上することが示された。
  論文  参考訳（メタデータ） (2024-11-12T04:40:27Z)
• Adaptive and Temporally Consistent Gaussian Surfels for Multi-view Dynamic Reconstruction [3.9363268745580426]
  AT-GSは、フレーム単位のインクリメンタル最適化により、多視点ビデオから高品質な動的曲面を再構成する新しい手法である。 連続するフレーム間の曲率写像の整合性を確保することにより、動的表面における時間的ジッタリングを低減する。 本手法は動的表面再構成の精度と時間的コヒーレンスを向上し,高忠実度空間時間新奇なビュー合成を実現する。
  論文  参考訳（メタデータ） (2024-11-10T21:30:16Z)
• MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo [54.00987996368157]
  MVSGaussianは、Multi-View Stereo(MVS)から導かれる新しい一般化可能な3次元ガウス表現手法である。 MVSGaussianは、シーンごとにより良い合成品質でリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2024-05-20T17:59:30Z)
• Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
  動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。 具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。 より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-18T03:46:26Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
  ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。 それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。 本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:53:27Z)
• Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
  野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。 本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
  論文  参考訳（メタデータ） (2022-09-01T10:46:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。