論文の概要: HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2312.03461v2
• Date: Thu, 7 Dec 2023 12:46:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 11:22:25.742474
• Title: HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting
• Title（参考訳）: HiFi4G:コンパクトガウススプレイティングによる高忠実なヒューマンパフォーマンスレンダリング
• Authors: Yuheng Jiang, Zhehao Shen, Penghao Wang, Zhuo Su, Yu Hong, Yingliang Zhang, Jingyi Yu, Lan Xu
• Abstract要約: HiFi4Gは、高密度映像からの高忠実度人間パフォーマンスレンダリングのための、明示的でコンパクトなガウスベースのアプローチである。 圧縮速度は25回程度で、1フレームあたり2MB未満である。
• 参考スコア（独自算出の注目度）: 48.59338619051709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We have recently seen tremendous progress in photo-real human modeling and rendering. Yet, efficiently rendering realistic human performance and integrating it into the rasterization pipeline remains challenging. In this paper, we present HiFi4G, an explicit and compact Gaussian-based approach for high-fidelity human performance rendering from dense footage. Our core intuition is to marry the 3D Gaussian representation with non-rigid tracking, achieving a compact and compression-friendly representation. We first propose a dual-graph mechanism to obtain motion priors, with a coarse deformation graph for effective initialization and a fine-grained Gaussian graph to enforce subsequent constraints. Then, we utilize a 4D Gaussian optimization scheme with adaptive spatial-temporal regularizers to effectively balance the non-rigid prior and Gaussian updating. We also present a companion compression scheme with residual compensation for immersive experiences on various platforms. It achieves a substantial compression rate of approximately 25 times, with less than 2MB of storage per frame. Extensive experiments demonstrate the effectiveness of our approach, which significantly outperforms existing approaches in terms of optimization speed, rendering quality, and storage overhead.
• Abstract（参考訳）: 最近、フォトリアルな人間のモデリングとレンダリングが大幅に進歩しました。 しかし、現実的な人間のパフォーマンスを効率よくレンダリングし、それをラスタライズパイプラインに統合することは依然として難しい。 本稿では,高精細映像からの高忠実度人間パフォーマンスレンダリングのための,明示的でコンパクトなガウス的手法であるHiFi4Gを提案する。 我々の中核的な直感は、3次元ガウス表現と非剛性追跡とを結合し、コンパクトで圧縮に優しい表現を実現することである。 まず, 実効初期化のための粗変形グラフと, その後の制約を強制する細粒度ガウスグラフを備えた2重グラフ機構を提案する。 そして,適応型時空間正規化器を用いた4次元ガウス最適化手法を用いて,非剛性前処理とガウス更新を効果的にバランスさせる。 また,各種プラットフォームにおける没入型体験に対する残差補償付き圧縮手法を提案する。 圧縮速度は約25倍で、1フレームあたりのストレージは2mbに満たない。 大規模な実験では、最適化速度、レンダリング品質、ストレージオーバヘッドにおいて既存のアプローチを著しく上回り、我々のアプローチの有効性を実証している。

関連論文リスト

• LGS: A Light-weight 4D Gaussian Splatting for Efficient Surgical Scene Reconstruction [33.794584735264884]
  動的内視鏡再建のための軽量4Dガウス切削フレームワーク(LGS)を提案する。 ガウス量の冗長性を最小限に抑えるため,変形対応プルーニングを提案する。 我々はまた、ガウス属性の次元を刻むことにより、非極端領域におけるテクスチャや照明の表現を単純化する。
  論文  参考訳（メタデータ） (2024-06-23T10:49:39Z)
• CompGS: Efficient 3D Scene Representation via Compressed Gaussian Splatting [68.94594215660473]
  Compressed Gaussian Splatting (CompGS) という,効率的な3次元シーン表現を提案する。 我々は少数のアンカープリミティブを予測に利用し、プリミティブの大多数を非常にコンパクトな残留形にカプセル化することができる。 実験の結果,提案手法は既存の手法よりも優れており,モデル精度とレンダリング品質を損なうことなく,3次元シーン表現のコンパクト性に優れていた。
  論文  参考訳（メタデータ） (2024-04-15T04:50:39Z)
• CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
  2次元画像空間で制御できる構造付きガウス表現を導入する。 次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。 我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
  論文  参考訳（メタデータ） (2024-03-28T15:27:13Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• StopThePop: Sorted Gaussian Splatting for View-Consistent Real-time Rendering [42.91830228828405]
  本稿では,処理オーバーヘッドを最小限に抑えた新しい階層化手法を提案する。 提案手法はガウス版よりも平均で4%遅い。 レンダリング性能はほぼ2倍に向上し,従来のガウス版よりも1.6倍高速になった。
  論文  参考訳（メタデータ） (2024-02-01T11:46:44Z)
• EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene Reconstruction [36.35631592019182]
  3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。 我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。 公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
  論文  参考訳（メタデータ） (2024-01-23T08:44:26Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)
• DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation [55.661467968178066]
  本稿では,DreamGaussianを提案する。DreamGaussianは,効率と品質を両立させる新しい3Dコンテンツ生成フレームワークである。 我々の重要な洞察は、UV空間におけるメッシュ抽出とテクスチャ改善を伴う3次元ガウススプラッティングモデルを設計することである。 ニューラル・ラジアンス・フィールドにおける占有プルーニングとは対照的に、3次元ガウスの進行的な密度化は3次元生成タスクにおいて著しく速く収束することを示した。
  論文  参考訳（メタデータ） (2023-09-28T17:55:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。