論文の概要: EVA-Gaussian: 3D Gaussian-based Real-time Human Novel View Synthesis under Diverse Camera Settings

• arxiv url: http://arxiv.org/abs/2410.01425v1
• Date: Wed, 2 Oct 2024 11:23:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 21:09:23.650120
• Title: EVA-Gaussian: 3D Gaussian-based Real-time Human Novel View Synthesis under Diverse Camera Settings
• Title（参考訳）: EVA-Gaussian:D Gaussian-based Real-time Human Novel View Synthesis under Diverse Camerasets (特集:バイオサイバネティックスとバイオサイバネティックス)
• Authors: Yingdong Hu, Zhening Liu, Jiawei Shao, Zehong Lin, Jun Zhang,
• Abstract要約: EVA-Gaussianは、多様なカメラ設定にまたがる3D人間の新しいビュー合成のためのリアルタイムパイプラインである。 本稿では,ソース画像から各3次元ガウスの位置を正確に推定するために,EVA (Efficient Cross-View Attention) モジュールを提案する。 我々は3次元ガウス属性と人間の顔のランドマークの両方に強力なアンカー損失関数を組み込んだ。
• 参考スコア（独自算出の注目度）: 11.248908608011941
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The feed-forward based 3D Gaussian Splatting method has demonstrated exceptional capability in real-time human novel view synthesis. However, existing approaches are restricted to dense viewpoint settings, which limits their flexibility in free-viewpoint rendering across a wide range of camera view angle discrepancies. To address this limitation, we propose a real-time pipeline named EVA-Gaussian for 3D human novel view synthesis across diverse camera settings. Specifically, we first introduce an Efficient cross-View Attention (EVA) module to accurately estimate the position of each 3D Gaussian from the source images. Then, we integrate the source images with the estimated Gaussian position map to predict the attributes and feature embeddings of the 3D Gaussians. Moreover, we employ a recurrent feature refiner to correct artifacts caused by geometric errors in position estimation and enhance visual fidelity.To further improve synthesis quality, we incorporate a powerful anchor loss function for both 3D Gaussian attributes and human face landmarks. Experimental results on the THuman2.0 and THumansit datasets showcase the superiority of our EVA-Gaussian approach in rendering quality across diverse camera settings. Project page: https://zhenliuzju.github.io/huyingdong/EVA-Gaussian.
• Abstract（参考訳）: フィードフォワードをベースとした3次元ガウススメッティング法は、リアルタイムなヒトの新規ビュー合成において、例外的な能力を示した。 しかし、既存のアプローチは高密度視点設定に限定されており、広い範囲のカメラビュー角の相違による自由視点レンダリングの柔軟性が制限されている。 この制限に対処するために,多様なカメラ設定にまたがる3次元新規ビュー合成のためのEVA-Gaussianというリアルタイムパイプラインを提案する。 具体的には、まず、ソース画像から各3次元ガウスの位置を正確に推定する効率的なクロスビューアテンション(EVA)モジュールを導入する。 次に,ソース画像と推定されたガウス位置マップを統合し,3次元ガウスの属性と特徴埋め込みを予測する。 さらに,位置推定における幾何誤差によるアーティファクトの補正と視覚的忠実度の向上のために,逐次機能改善器を用い,さらに合成品質を向上させるために,3次元ガウス属性と人間の顔のランドマークの両方に強力なアンカー損失関数を組み込んだ。 THuman2.0とThumansitデータセットの実験結果は、多様なカメラ設定における品質のレンダリングにおけるEVA-Gaussアプローチの優位性を示している。 プロジェクトページ: https://zhenliuzju.github.io/huyingdong/EVA-Gaussian

関連論文リスト

• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。 また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。 我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
  Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。 実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。 この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
  論文  参考訳（メタデータ） (2024-02-24T17:22:15Z)
• GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
  我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。 提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
  論文  参考訳（メタデータ） (2023-12-04T18:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。