論文の概要: EVA-Gaussian: 3D Gaussian-based Real-time Human Novel View Synthesis under Diverse Multi-view Camera Settings

• arxiv url: http://arxiv.org/abs/2410.01425v2
• Date: Wed, 12 Mar 2025 12:14:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:36:01.285589
• Title: EVA-Gaussian: 3D Gaussian-based Real-time Human Novel View Synthesis under Diverse Multi-view Camera Settings
• Title（参考訳）: EVA-Gaussian:D Gaussian-based Real-time Human Novel View Synthesis under Diverse Multi-view Camerasets (特集:バイオサイバネティックスとバイオサイバネティックス)
• Authors: Yingdong Hu, Zhening Liu, Jiawei Shao, Zehong Lin, Jun Zhang,
• Abstract要約: 3次元ガウス散乱法は、人間のモデルに対するリアルタイムな新しいビュー合成において、例外的な能力を示した。 本研究では,多様なマルチビューカメラ設定にまたがる3次元新規ビュー合成のためのEVA-Gaussianという新しいパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 11.248908608011941
• License:
• Abstract: Feed-forward based 3D Gaussian Splatting methods have demonstrated exceptional capability in real-time novel view synthesis for human models. However, current approaches are confined to either dense viewpoint configurations or restricted image resolutions. These limitations hinder their flexibility in free-viewpoint rendering across a wide range of camera view angle discrepancies, and also restrict their ability to recover fine-grained human details in real time using commonly available GPUs. To address these challenges, we propose a novel pipeline named EVA-Gaussian for 3D human novel view synthesis across diverse multi-view camera settings. Specifically, we first design an Efficient Cross-View Attention (EVA) module to effectively fuse cross-view information under high resolution inputs and sparse view settings, while minimizing temporal and computational overhead. Additionally, we introduce a feature refinement mechianism to predict the attributes of the 3D Gaussians and assign a feature value to each Gaussian, enabling the correction of artifacts caused by geometric inaccuracies in position estimation and enhancing overall visual fidelity. Experimental results on the THuman2.0 and THumansit datasets showcase the superiority of EVA-Gaussian in rendering quality across diverse camera settings. Project page: https://zhenliuzju.github.io/huyingdong/EVA-Gaussian.
• Abstract（参考訳）: フィードフォワードに基づく3次元ガウススプラッティング法は、人間のモデルに対するリアルタイムな新しいビュー合成において、例外的な能力を示した。 しかし、現在のアプローチは、密度の高い視点構成または制限された画像解像度に限られている。 これらの制限は、広い範囲のカメラビュー角の不一致に対する自由視点レンダリングの柔軟性を損なうとともに、一般的に利用可能なGPUを使用して人間の細部をリアルタイムで再現する能力を制限している。 これらの課題に対処するために,多様なマルチビューカメラ設定にまたがる3次元人体視点合成のための新しいパイプラインEVA-Gaussianを提案する。 具体的には,高解像度入力とスパースビュー設定下でのクロスビュー情報を効果的に融合し,時間的・計算的オーバーヘッドを最小限に抑えるための,効率的なクロスビュー注意(EVA)モジュールを最初に設計する。 さらに,3次元ガウスの属性を推定し,各ガウスに特徴値を割り当て,位置推定における幾何学的不正確さによるアーチファクトの補正と全体的視覚的忠実度の向上を可能にする特徴改善機構を導入する。 THuman2.0とThumansitデータセットの実験結果は、多様なカメラ設定のレンダリング品質におけるEVA-Gaussianの優位性を示している。 プロジェクトページ: https://zhenliuzju.github.io/huyingdong/EVA-Gaussian

関連論文リスト

• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
  Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。 実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。 この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
  論文  参考訳（メタデータ） (2024-02-24T17:22:15Z)
• GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
  我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。 提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
  論文  参考訳（メタデータ） (2023-12-04T18:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。