論文の概要: HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2312.03461v2
• Date: Thu, 7 Dec 2023 12:46:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 11:22:25.742474
• Title: HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting
• Title（参考訳）: HiFi4G:コンパクトガウススプレイティングによる高忠実なヒューマンパフォーマンスレンダリング
• Authors: Yuheng Jiang, Zhehao Shen, Penghao Wang, Zhuo Su, Yu Hong, Yingliang Zhang, Jingyi Yu, Lan Xu
• Abstract要約: HiFi4Gは、高密度映像からの高忠実度人間パフォーマンスレンダリングのための、明示的でコンパクトなガウスベースのアプローチである。 圧縮速度は25回程度で、1フレームあたり2MB未満である。
• 参考スコア（独自算出の注目度）: 48.59338619051709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We have recently seen tremendous progress in photo-real human modeling and rendering. Yet, efficiently rendering realistic human performance and integrating it into the rasterization pipeline remains challenging. In this paper, we present HiFi4G, an explicit and compact Gaussian-based approach for high-fidelity human performance rendering from dense footage. Our core intuition is to marry the 3D Gaussian representation with non-rigid tracking, achieving a compact and compression-friendly representation. We first propose a dual-graph mechanism to obtain motion priors, with a coarse deformation graph for effective initialization and a fine-grained Gaussian graph to enforce subsequent constraints. Then, we utilize a 4D Gaussian optimization scheme with adaptive spatial-temporal regularizers to effectively balance the non-rigid prior and Gaussian updating. We also present a companion compression scheme with residual compensation for immersive experiences on various platforms. It achieves a substantial compression rate of approximately 25 times, with less than 2MB of storage per frame. Extensive experiments demonstrate the effectiveness of our approach, which significantly outperforms existing approaches in terms of optimization speed, rendering quality, and storage overhead.
• Abstract（参考訳）: 最近、フォトリアルな人間のモデリングとレンダリングが大幅に進歩しました。 しかし、現実的な人間のパフォーマンスを効率よくレンダリングし、それをラスタライズパイプラインに統合することは依然として難しい。 本稿では,高精細映像からの高忠実度人間パフォーマンスレンダリングのための,明示的でコンパクトなガウス的手法であるHiFi4Gを提案する。 我々の中核的な直感は、3次元ガウス表現と非剛性追跡とを結合し、コンパクトで圧縮に優しい表現を実現することである。 まず, 実効初期化のための粗変形グラフと, その後の制約を強制する細粒度ガウスグラフを備えた2重グラフ機構を提案する。 そして,適応型時空間正規化器を用いた4次元ガウス最適化手法を用いて,非剛性前処理とガウス更新を効果的にバランスさせる。 また,各種プラットフォームにおける没入型体験に対する残差補償付き圧縮手法を提案する。 圧縮速度は約25倍で、1フレームあたりのストレージは2mbに満たない。 大規模な実験では、最適化速度、レンダリング品質、ストレージオーバヘッドにおいて既存のアプローチを著しく上回り、我々のアプローチの有効性を実証している。

関連論文リスト

• Mini-Splatting2: Building 360 Scenes within Minutes via Aggressive Gaussian Densification [4.733612131945549]
  Mini-Splatting2は最適化時間、ガウス数、レンダリング品質のバランスの取れたトレードオフを実現する。 我々の研究は、現実世界のアプリケーションにおいて、より効率的で高品質な3Dシーンモデリングのステージを定めている。
  論文  参考訳（メタデータ） (2024-11-19T11:47:40Z)
• MEGA: Memory-Efficient 4D Gaussian Splatting for Dynamic Scenes [49.36091070642661]
  本稿では,4DGSのためのメモリ効率フレームワークを提案する。 TechnicolorとNeural 3D Videoのデータセットで約190$times$と125$times$のストレージ削減を実現している。 レンダリング速度とシーン表現の品質を維持し、フィールドに新しい標準を設定する。
  論文  参考訳（メタデータ） (2024-10-17T14:47:08Z)
• Robust Dual Gaussian Splatting for Immersive Human-centric Volumetric Videos [44.50599475213118]
  我々は、複雑な人間のパフォーマンスをリアルタイムかつ高忠実に再生するための、textitDualGSと呼ばれる新しいアプローチを提案する。 提案手法は最大120倍の圧縮比を実現し,フレームあたり約350KBのストレージを必要とする。 我々は、VRヘッドセット上で写真リアルで自由視点体験を通して、表現の有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-12T18:33:13Z)
• Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields [13.729716867839509]
  ハイパフォーマンスを維持しつつガウスの数を著しく削減する学習可能なマスク戦略を提案する。 さらに、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。 我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
  論文  参考訳（メタデータ） (2024-08-07T14:56:34Z)
• CompGS: Efficient 3D Scene Representation via Compressed Gaussian Splatting [68.94594215660473]
  Compressed Gaussian Splatting (CompGS) という,効率的な3次元シーン表現を提案する。 我々は少数のアンカープリミティブを予測に利用し、プリミティブの大多数を非常にコンパクトな残留形にカプセル化することができる。 実験の結果,提案手法は既存の手法よりも優れており,モデル精度とレンダリング品質を損なうことなく,3次元シーン表現のコンパクト性に優れていた。
  論文  参考訳（メタデータ） (2024-04-15T04:50:39Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• StopThePop: Sorted Gaussian Splatting for View-Consistent Real-time Rendering [42.91830228828405]
  本稿では,処理オーバーヘッドを最小限に抑えた新しい階層化手法を提案する。 提案手法はガウス版よりも平均で4%遅い。 レンダリング性能はほぼ2倍に向上し,従来のガウス版よりも1.6倍高速になった。
  論文  参考訳（メタデータ） (2024-02-01T11:46:44Z)
• LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
  光ガウシアン(LightGaussian)は、3次元ガウシアンをよりコンパクトなフォーマットに変換する方法である。 ネットワーク・プルーニングにインスパイアされたLightGaussianは、ガウシアンをシーン再構築において最小限のグローバルな重要性で特定した。 LightGaussian は 3D-GS フレームワークで FPS を 144 から 237 に上げながら,平均 15 倍の圧縮率を達成する。
  論文  参考訳（メタデータ） (2023-11-28T21:39:20Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。